在具身智能领域,“Sim2Real”(从仿真到现实)一直是绕不开的难题,不仅仿真环境搭建成本高昂,模型迁移到现实世界时也常出现性能折损。近日,由李飞飞团队联合英伟达GEAR实验室、佐治亚理工大学等多家机构共同发布的一项全新研究,为这一困境提供了新的破局思路:Real2Sim。
这项被称为“SimFoundry”的系统,通过一段真实世界的视频,即可自动生成一个具备交互能力、可进行训练与评测的机器人仿真环境。与传统的3D场景重建不同,SimFoundry实现了对真实世界的深度解析与重构,通过自动化技术大幅降低了仿真环境的搭建门槛。

SimFoundry的核心创新在于“数字孪生”与“数字表亲”的闭环构建。首先,系统通过提取视频信息,解析出场景中的物体几何结构、物理属性及交互功能,构建起高精度的“数字孪生”。在此基础上,系统能够自动调整物体的外观、形态、场景布局甚至操作任务,生成海量的“数字表亲”。这意味着,开发者仅需一段真实视频,就能获得几乎无限的训练数据,从而让机器人在仿真中完成从策略学习到自动评测的全过程。
实验数据显示,SimFoundry展现出了卓越的预测能力,其在仿真中评测出的机器人表现,与真实世界的实际结果具有极高的一致性。更重要的是,基于这些自动生成数据训练出的机器人策略,能够实现“零样本”迁移,在多步操作、双臂协作等复杂任务中表现优异。
这一研究由多位机器人领域的权威学者共同署名,包括英伟达GEAR实验室的核心研究者及李飞飞团队成员。随着该系统的开源与应用,具身智能机器人的开发流程有望迎来重大变革——不再依赖昂贵的人工采集与建模,而是通过生成式技术,让机器人更快地从实验室走向真实世界。
论文地址:https://arxiv.org/pdf/2606.28276v1
在人工智能产业爆发式增长的推动下,全球存储芯片巨头SK海力士计划本周在美国纳斯达克启动上市,预计筹资280亿美元,有望成为史上第二大IPO。此次上市将发行存托凭证(ADR),每10份ADR兑1股普通股,最终条款本周敲定。
Deep Code开源终端编程助手因深度适配DeepSeek-V4系列模型受关注,主打高质量推理与代码生成。历经迭代至v0.1.31版,功能趋于成熟,支持VS Code插件模式,为开发者提供新的辅助选择。
AI智能体“ElementsClaw”仅用28 GPU小时扫描240万种稳定晶体,筛选出6.8万种潜在超导体,效率远超人类百年摸索,颠覆了传统“炒菜式”试错研究。
复旦大学数据挖掘课期末考变身“出题人大赛”:学生需自创10道带唯一答案的计算题,让AI解答。得分规则反转:AI答错越多,学生成绩越高,以此激励学生深入掌握知识、设计高难度题目,检验AI短板,实现教学创新。
日本公布《人工智能机器人战略》新方针,计划到 2040 年在制造业、医疗、农业等 18 个行业部署 1000 万台 AI 机器人,以系统性应对少子老龄化引发的劳动力危机。

关注 “悠AI” 更多干货技巧行业动态