搜索
李飞飞团队发布新一代世界模型 Atlas：从零训练，一次性打通视频生成、 3D 重建与机器人仿真
5 小时前
由李飞飞创立的World Labs发布了新一代世界模型Atlas，该模型被誉为“全球首个多模态世界模型”。Atlas从零开始进行预训练，能够统一理解文本、图像、视频和3D数据，并将其置于三维空间中。它具备多项功能，包括从照片生成新视角、按镜头轨迹生成最长1分钟1440p视频、将照片视频重建为点云和3D高斯泼溅场景等。此外，Atlas还能通过普通手机拍摄实现动态事件的多视角观看，以及应用于机器人Real-to-Sim场景。该模型采用多模态自回归扩散Transformer架构，将相机位姿作为原生输入，运镜控制精度超越部分同类模型。目前，Atlas已向少数合作伙伴开放早期测试，并计划作为未来3D世界生成产品Marble的底层模型。然而，该模型尚未公布参数规模等详细信息，也未经独立测试验证，距离真正模拟现实世界还有一定差距。此前，已有Genie 3、Marble、Cosmos 3等世界模型问世，而Atlas的独特之处在于它将生成、重建和模拟任务整合到一个以3D空间为核心的统一基础模型中，向渲染器、模拟器、规划器合一的统一世界模型目标更进一步。
