a16z 合伙人 Martin Casado 找来 World Labs 的三位联合创始人——李飞飞、计算机视觉学者 Justin Johnson，以及 NeRF（神经辐射场）的开创者 Ben Mildenhall 录了一期播客。近期李飞飞的这家公司刚发了新模型 Atlas，业内关注度极高。

大家对现有视频模型的痛点其实很熟悉：画面虽然逼真，但本质上还是“靠写提示词抽卡”，镜头多转两下，空间和物体就对不上了；而传统的 3D 扫描虽然真实，却得拿着手机在屋里兜兜转转拍几百张照片，极其费劲。

Atlas 尝试解决的正是这个问题：把“内容生成”和“三维重建”合并进同一个架构。它的核心原语叫“新视角预测”（New View Prediction）——无论你给它几张日常照片，只要指定一个相机坐标，它就能推算出从那个物理位置看过去的世界该长什么样。

聊到应用落地时，话题不可避免地转向了机器人和具身智能。李飞飞在对谈中直言，眼下卡住机器人落地最致命的死穴不是算力，也不是芯片，而是物理世界的数据荒漠。造真实数据太贵、太慢，而 Atlas 展现出的极速“现实到仿真”（Real-to-Sim）能力，恰恰是解决数据饥渴的最短路径。

整场对话最耐人寻味的一点，在于他们把空间智能拉回到了进化论的视角。大语言模型靠“预测下一个 Token”带来了智能涌现，而三维世界模型的原语，或许正是这个“新视角预测”。正如李飞飞在结尾提到的那个绝妙隐喻：大自然给动物演化出了眼睛，却没有给树木眼睛，因为只要你开始在空间中移动，你就必须学会预测新的视角。

核心要点速览

• 告别“老虎机式”抽卡生成：  “在 Atlas 里，每一帧都绑定了严谨的三维相机位姿，系统绝不是在任由模型脑补画面。画面的内容布局、相机朝向与运动轨迹全都精准受控，这和传统视频模型反复碰运气的体验有本质区别。”
• 从拍几百张到拍三张：  过去稠密 3D 重建需要普通人拍上百张照片甚至兜圈两小时，Atlas 将视角需求削减了数十倍。哪怕只是几张老旧照片，镜头未曾扫到的死角也能靠空间生成能力严丝合缝地补齐。
• 物理世界的数据荒漠：  “拉高视野来看，当前机器人领域面临的最大阻碍就是数据匮乏。未来瓶颈可能是芯片，但当下绝对是物理交互数据的极度稀缺。”
• 在动态混沌中提纯空间：  想做出极高精度的静态 3D 几何，反而不能只给模型喂静态数据。预训练时接触海量的动态世界，模型才能真正学会如何把时间流动与空间结构自然解耦。
• 空间智能的完备性：  “大自然赋予了动物眼睛，却没有给树木眼睛。为什么？因为只要你移动，你就会看到全新的视角。新视角预测，就是空间智能时代的下一个 Token 预测。”

以下是本次对话的完整整理实录：

1 / 把每一帧像素都钉进真实空间

主持人：最近你们发布了一款前沿模型，反响非常热烈，各方反馈到现在还在不断涌入。我想我们今天的对话不妨先从昨天发布的内容聊起，然后再回顾研发背景，逐步展开。Justin，你先讲讲昨天发布了什么，为什么它这么关键？

Justin Johnson：好的。Atlas 是我们的新一代世界模型，核心能力分为三项：生成、重建以及模拟世界。围绕这三点，它具备几项主要功能。

首先是基于相机轨迹的条件生成（camera-conditioned generation）。你可以给模型输入一张图片和一条相机运动轨迹，引导它按照你指定的视角生成连续视频帧。

其次是稀疏 3D 重建（sparse 3D reconstruction）。输入一张或多张——最多可达 100 张——真实视角的照片，就能重建现实空间。这种重建既可以是一段穿梭在空间里的新视角漫游视频，也可以直接输出显式的 3D 空间模型。

最后是仿真模拟。我们展示了在网上引发大量关注的“子弹时间”（bullet-time）视频，此外它也能用于机器人仿真。

主持人：什么是“子弹时间”视频？

Justin Johnson：子弹时间源自电影《The Matrix》（黑客帝国）。第一部里有个著名镜头，Neo（基努里维斯饰演的主角尼奥）正在向后仰倒躲子弹……

主持人：噢，就是那个场景！

Justin Johnson：对，就是那个镜头：他在慢动作里向后倒下，镜头围绕着他做全方位环绕。当年拍这个镜头，是在摄影棚绿幕前用上百台相机围成一圈。他仰倒的时候，几百台相机同时捕捉各个角度，最后才合成了那个经典镜头。

但现在有了 Atlas，我们最少只需要三台相机。不用专业摄影棚，不用绿幕，也不需要昂贵的相机标定。直接把三台相机——哪怕是三部 iPhone 架在三脚架上，去拍一段正在发生的事，比如有人投篮，或者把草莓扔进牛奶碗。

只靠这三段 iPhone 视频，我们就能重新构图：让时间静止，在牛奶溅起的瞬间让虚拟镜头穿梭推进，得到惊艳的时间定格视角。这一切仅凭几台日常相机就能搞定。

主持人：能不能用最简单的话概括一下 Atlas 的作用？也就是输入是什么，输出又是什么？

Justin Johnson：Atlas 最核心、最底层的逻辑就是“新视角预测”（new view prediction）。我们认为这是基座模型中一个此前从未有人做过的全新基础原语（primitive）。

我们知道大语言模型基于“下一个 Token 预测”（next-token prediction），视频模型基于“下一帧预测”，而 Atlas 的核心正是“新视角预测”。

输入一个场景的若干个视角或一段场景描述，它们会被转化为所谓的“空间上下文”（spatial context），用来隐式描述我们所设定的世界。随后，只要你在时空的任意位置放置一台虚拟相机，Atlas 就能推断出从该时空位置看过去，这个世界应该是什么样。

主持人：Ben，市面上有海量的视频模型，都在标榜自己是世界模型，也宣称能生成新视角。你能具体讲讲，Atlas 和之前这些模型相比，根本区别到底在哪？

Ben Mildenhall：对，我认为 Justin 刚才强调的“空间上下文”在这里非常关键。市面上有很多视频模型，大部分最初靠单张图生成视频或首尾帧插值走红。现在也开始出现支持全向参考的模型，能接收 20、30 甚至 50 张图片。

但 Atlas 的关键在于，输入的每一帧画面都有确切的空间物理定位（spatially grounded）。它绝不是一张任由模型随意脑补的普通图片，你也不需要在提示词里费劲跟模型较劲去逼它听话。

在 Atlas 里，每张图都绑定了对应的三维相机位姿（camera pose），因此空间重建的精度极高。比如我们在当前房间的四个角落各拍一张照片输入模型，就能精确复现这个房间里的一切；它不会盲目猜测另一个角落有什么，也不会搞混物体之间的相对位置，只会忠实还原你给它的内容。

同样，这种能力也可以用于创意构想。如果你从不同的 AI 生成图或现实场景中各挑一张照片，可以通过精确设定它们在空间中的相对位置与机位布局，设计出完全受控的穿梭运镜。画面内容放在哪里、相机朝哪里看、往哪里走，全都精准受控。

这和传统视频模型大不相同——那些模型只提供更高层级的文本控制，生成过程就像拉老虎机，全靠一遍遍重试碰运气。

2 / 半个世纪的视觉鸿沟：生成与重建的破壁大一统

主持人：这只是把传统视频模型单纯做大（scaled-up），还是用了一套全新的架构？

Justin Johnson：我觉得它确实挺新的，原因有几个方面。

主持人：好，具体说说。

Justin Johnson：首先，正如我们前面所说，它在同一个模型里联合实现了“生成”与“重建”。就像 Ben 讲的，给它输入这个房间的几个视角，它就能分毫不差地重建出你所看到的一切。

而在计算机视觉历史上，重建一直是个独立的子领域，有专门的研究任务和专属模型；而生成则是文生视频模型和近几年各类大型扩散模型所擅长的方向。生成模型非常适合创意类应用，比如我想想象一些之前从没存在过的东西。

但现在，Atlas 第一次将视觉智能中这两个截然不同的分支放进了同一个模型，用单一架构同时支持 3D 重建与生成。

为了做到这一点，我们做了几项根本性的改变。其一，是必须从一开始就做成原生多模态。它不仅原生支持文本、图像和视频，还将相机位姿作为原生输入直接喂给模型——据我所知，此前从未有人在预训练阶段就引入这一输入——此外它还将 3D 本身当作一种原生模态来处理。所以它从第一天起就被设计成了这种真正原生的多模态，这在以前……

主持人：不好意思打断一下，我对这个领域不是特别懂。你说的 3D，具体是指深度图（depth maps）、3D 模型，还是别的什么？

Justin Johnson：对，我们目前采用的表征形式是深度图。

具体来说，当某一帧画面带有虚拟相机标明的 3D 空间坐标时，相机的空间位置和内外参数就会作为原生输入喂给模型。对应这个机位，一方面有 RGB 图像展示该位置的外观，另一方面有深度图给出该视角下的 3D 空间结构。

这样一来，文本、图像、视频以及 3D 相机位姿，就都被同一个多模态模型联合处理了。

李飞飞：我想补充几句，因为 Justin 和 Ben 刚才谈到的这一点至关重要，但外界很可能低估了它的分量：这是我们第一次真正将“像素生成”与“像素重建”统一到了同一个模型里。

计算机视觉领域已经发展了半个多世纪，我深耕这个领域数十年，数不清有多少博士论文都在啃重建或新视角合成（novel view synthesis）这道题。我们这个领域传统上一直分成几条赛道：去参加计算机视觉顶会，会有像素生成赛道、图像识别赛道，还有独立的 3D 重建赛道。

而 Atlas 是一套非常优雅的模型，它以视角估计为锚点，把重建和生成两大难题融为一体，这种能力极其强大。

主持人：我们能不能往回退一步，把一些底层逻辑聊透？我记得你们刚成立公司时说过，公司的目标是攻关“空间智能”（spatial intelligence）。现在有了这个新模型，作为一个外行人，我觉得它非常通用。大语言模型是“下一个 Token 预测”，你们做的是“新视角预测”：给一个或一组视角，就能预测出全新的视角。你们能不能梳理一下，为什么说这是通往空间智能这一通用难题的重要一步？或许可以先从什么是空间智能讲起。

李飞飞：空间智能最终必须让我们做到三件事：生成空间、在空间内做推理，以及在其中进行编辑和交互。

固然可以探讨它到底是 3D 还是 4D——加上时间维度最终肯定要走向 4D——但哪怕仅在 3D 范畴内，这些都是空间智能必须支持的核心任务。在此基础上，你才能做渲染、仿真以及动作规划（action planning）。但要做到这一切，首先必须解决的基础问题，是理解空间的几何形状、三维结构以及物理规律。

我认为 Atlas 往前迈出了关键一步，因为现在模型在处理每一帧画面时，都能生成并估计出一项核心信息：视角，也就是相机位姿。这是理解空间几何最关键的信息，直接带来了我们在博文中展示的各种下游涌现能力。

在通往空间智能的路上，纯粹生成像素只是第一步，市面上无数的模型都在做这件事；但生成真正具备空间上下文、与物理空间几何严密锚定（grounded）的像素，则是质的飞跃。而这，正是 Atlas 啃下的硬骨头。

我们当然还能继续往下走：比如引入作为第四维的时间，从而带来动态变化，以及更高保真度的空间模拟与细节刻画。这些都是空间智能路线图的核心组成部分。

3 / 从两小时扫一套房到只拍三张照

主持人：好。我后面肯定想深入聊聊未来的方向，不过我们可以先聊聊你们是怎么走到这一步的。World Labs 成立到现在有多久了？

李飞飞：呃，两个半月？

Ben Mildenhall / Justin Johnson：对，差不多两个半月。

李飞飞：两个半月，是的。

主持人：其实在这之前你们已经发布过模型了，那当初为什么没有直接一步到位做 Atlas 呢？

Justin Johnson：好问题！

主持人：毕竟效果看起来这么神奇，对吧？

李飞飞：因为 Justin 的团队需要很多芯片。

Justin Johnson：没错，要把模型规模真正做大，需要大量的 GPU 算力。去年我们发布了 Marble 世界模型，那是我们推出的第一款主力世界模型，也是现有 Marble 产品的底层基座。

Marble 很酷，能接受图像、视频和文本提示词输入，并生成 3D 世界。但 Marble 与 Atlas 最核心的差异，恰恰在于输出模态的选择。Marble 聚焦于将高斯泼溅（Gaussian Splatting）作为输出表征，无论输入什么，输出的都是高斯泼溅格式的 3D 世界。高斯泼溅确实非常好用，容易渲染，在移动设备和 VR 设备上运行极其高效，还能无缝对接到游戏引擎和仿真引擎中，有很多优点。但在上一代 Marble 模型中，它在某种程度上也成了一个瓶颈。

所以在做 Atlas 时，我们重新做了一些架构设计。我们意识到，必须更早地把这些模态区分开，让所有模态在模型内部以更统一的方式运作。

因此在 Atlas 中，核心原语不再是“生成一个高斯泼溅世界”，而是前面提到的“新视角预测”。它可以输出 RGB 画面，也可以输出 3D 结构；在需要时，我们同样可以用它们构建出精致的高斯泼溅世界，但完全没必要把输出强行卡死在高斯泼溅这一单一格式上。为了搞清楚不同表征形式的优缺点，团队确实花了很多心血。

这还只是一方面，另一方面在于你必须循着 scaling ladder 一步步往上走。从小实验、小模型起步，不断验证并建立信心，摸清到底什么方案行得通、什么样的架构能真正 scale 起来。如果一开始就能预知什么架构能 scale，那当然直接做就好了，但我们刚创立公司时，整个外部环境和技术现状完全不同……

李飞飞：当时空间智能领域根本没有现成的 Scaling Law（扩展法则）。

Justin Johnson：对。我们刚起步时，外部环境和技术生态都处于早期。我们当时有很多构想，但也经历了几轮迭代，才最终敲定这套我们认为“就是它了、能真正扩展做大”的方案。

主持人：Ben，你是 NeRF（神经辐射场）的开创者，在 3D 和空间重建领域深耕多年。但在我这样一个外行看来，光有多个视角的画面，怎么就能直接得到一个三维实体呢？这其实并不直观。但你的整个职业生涯基本都在做这件事，能展开讲讲这一步吗？

Ben Mildenhall：确实如此。就像你说的，我职业生涯的大部分时间都在研究怎么从 2D 图像中生成 3D 实体。公司刚成立时我们也经常讨论：这究竟是不是得到 3D 的正确路径？我们到底是先合成多个视角、再据此构建 3D，还是直接一步到位生成 3D？

业内一直有很大分歧，大家不确定哪条路线会胜出，或者哪种能更早见效。但我自己很有信心，主要是因为我看到了一种力量——我甚至想把它称作某种极初级的“暴力扩展”（brute-force scaling）。虽然那还算不上真正意义上的大模型 scaling，但过去三年里稠密重建（dense reconstruction）的演进让我深信这条路可行。

主持人：“稠密重建”为什么叫“稠密”？我知道后面会重点聊“稀疏”（sparse），所以想先帮大家厘清“稠密”与“稀疏”的区别。

Ben Mildenhall：好的。在商业和产品化层面上，这其实一直是 3D 重建技术很难落地的根本原因。普通人往往会觉得：“我给这个物体拍了三张照片，或者给房间拍了六张照片，看着这些照片，脑子里自然能把它们拼起来，自己脑补出盲区。”

但人类这种基于强先验的理解，和过去那种暴力的稠密重建之间，一直存在巨大的鸿沟。我们以前做的稠密重建，本质上更接近科学仪器或医学成像。

在传统算法里，重建模型中出现的每一个细节，都需要至少三到四个视角去覆盖。想想看，就拿我们现在这个房间来说，麦克风底下、桌子底下、各种缝隙死角，还有植物叶片的层叠间隙，要想拍全每个角落，你得端着设备在屋里极为繁琐地地毯式走动拍摄。你们大概都见过我为了采数据到处跑的样子。

受过专业训练的人可能几分钟能拍完，但如果让普通用户、甚至是初次接触的专业人员拿普通手机去拍，可能得花上一个小时。我见过第一次扫描多房间住宅的人，花了整整两个小时在屋里来回走，才勉强拍够素材。这个过程非常繁琐且耗时。

所以我们说“稠密”，那是真的稠密。像这个小房间，可能得拍上 100 张照片……

主持人：也就是说，需要拍海量的视角画面。

Ben Mildenhall：对，非常非常多的照片。为了拍下这间屋子，可能需要 100、200 甚至 300 张照片。

而我们现在正在做的，是把它压缩到大概三张，相当于将拍摄量缩减了 50 到 100 倍。当数据需求降到这个量级时，整个使用逻辑就彻底变了。

你可以直接调取手机里的旧照片，或者在网上随便搜几张图，就能把对应的 3D 场景建出来；你甚至可以去翻过去随手拍的日常视频，挖掘出很多以前根本不觉得能拿来重建的素材，把它们以 3D 形式还原出来。

我们在测试 Atlas 时经常这么做：找来很多老旧视频片段，或者我以前采集失败的素材输入系统，第一次看到了完整的 3D 重建效果；又或者把以前拍的上千张素材扔掉 95%，只留几张喂给模型，系统就能推算并脑补出传统 NeRF 或高斯泼溅算法根本得不到的角度。

李飞飞：官网 demo 里有一个很容易被忽视的细节，就是斯坦福主方院（Stanford Quad）的演示。Ben 只用了 3 到 25 张照片，就成功重建了整个斯坦福主方院。

更关键的是，展示画面中包含俯瞰整个方院的鸟瞰视角，但 Ben 拍的所有输入照片全都是他站在地面上仰拍或平拍的。你看到的那些航拍视角完全是由模型生成出来的，但它又严格遵循着空间几何的重建规律。这非常神奇。

Justin Johnson：这也正是“生成”与“重建”必须在底层深度结合的原因。在 Ben 刚才提到的传统重建范式下，之所以需要那么多视角，是因为算法必须通过多张图像在 3D 空间中做三角测量（triangulation），从多个视角看到同一点，这是传统方法的硬性条件。

反过来说，任何没有被镜头扫到的地方——只要某个像素在输入图像中不可见——在 3D 重建中就会变成一个空洞。因为从根本上讲，没拍到的盲区只能靠想象去填补，这本质上是一个生成过程。

即便在这个房间里，就算让 Ben 拿着单反随便拍上几百张，哪怕他是做稠密采集的顶级专家，也一定会漏掉一些地方——比如麦克风底下、桌子下方，或者椅子腿之间的缝隙。无论拍多少张，总有顾及不到的死角。

这就需要模型引入生成机制：既然永远不可能拍全所有细节，模型就必须具备生成能力，先通过三角测量还原看得见的部分，再去脑补那些必然遗漏的空白。

Ben Mildenhall：对，这里面还有一个很有意思的对应关系。大语言模型其实很早就体现了这一点：过去几年大家都在卷上下文窗口，从 128k、256k 一路涨到 512k 甚至上百万 Token。现在大家都能切身体会到长上下文的价值——比如在用 coding agents 处理复杂问题时，把上下文长度拉满准没错。人人都理解这一点，但在图像和视频模型领域，此前从未有人以这样严谨的方式去推上下文能力。没人试过把一小时的视频塞进模型，去做类似定位第 37 分钟某一帧的大海捞针式检索。

但在“重建”与“生成”之间，底层逻辑完全一样：所谓重建，本质上就是在极长的上下文中塞入大量视角先验后的生成。

这正是连接两者的连续光谱桥梁。在 Marble 时代，这是根本做不到的，Marble 有一个硬性瓶颈，最多只能塞进几张图片；而在 Atlas 中，我可以塞入 64 张图片，直接生成穿过整栋房子的漫游视频。画面中的一切要么被真实拍到，要么是基于所见进行的合理外推。

我把以前拍了 2000 张照片的多房间住宅素材抽离出三四十张输入进去，生成的漫游效果基本差不多。这在以前是完全不可想象的，而这一切都归功于我们构建了一个可以平滑扩展、能不断容纳素材的空间上下文窗口。

主持人：所以可以这样理解吗：所谓的“稀疏”，是指你实际拍摄的那几张有限照片；然后由 Atlas 模型生成补齐其余所有视角，最后再结合传统的重建技术？大致是这个流程吗？

Ben Mildenhall：在某种程度上可以这么理解。Atlas 的优势就在于，无论你输入多少个视角——哪怕极端到只有一张照片——你几乎都可以把 Atlas 当作一个渲染引擎，去生成你想要的任何新视角。你可以在空间中自由漫游……

主持人：就像一台虚拟相机一样……

Ben Mildenhall：对，没错。你可以设定：“好，这里有一张图，那里有一张，远处还有两张。”放好这几处关键帧之后，你就可以安排一段密集的穿梭运镜。因为 Atlas 采用了自回归架构，你可以按时序逐步生成，在生成过程中完全由你决定在上下文中动态添加什么。

4 / 给 Scaling Law 投下信任票

主持人：最让我不可思议的是，按照我很简单的直觉理解：手里只有四张照片，要让模型在它们之间做外推，而且在最后三维重建时，所有空间信息竟然能完全吻合！这必须具备极高的 3D 一致性（3D consistency）。在我印象里，扩散模型虽然画面很好看，但空间结构往往不够精确。我甚至不知道该怎么提问了——这到底是怎么做到的？整个房间的空间几何居然能严丝合缝地拼合在一起！它是怎么保持这种 3D 一致性的？纯靠海量数据硬堆，还是有别的秘诀？

Justin Johnson：在一定程度上，这确实源于对 Scaling 假说的坚定信念。

李飞飞：是信念！

主持人：顺便问一句，刚开始做的时候，你们就确信这一定行得通吗？

Justin Johnson：我当时挺确信的。

李飞飞：好吧！

主持人：你当时真有那么大把握？

李飞飞：我觉得我们三个人对 Scaling Law 都有极强的信念，这确实不假。但具体的架构选择和数据配比，魔鬼都在细节里。

我一路看着 Justin 和他的团队，从最初的“真不知道这得做多久”，到“好像看到点生命迹象了”，再到“哇，这真的行得通！”此前从没有人走通过这条路。但对于两个假设——一个是 Scaling Law 假说，另一个是下一视角预测假说——我们从很早开始就坚信不疑。

Justin Johnson：我是坚信这条路必成的，只是没想到它会见效这么快、效果这么好。基于一套全新的架构和新范式从零预训练一个新模型，第一轮就直接跑通，这本身就不可思议。我原本以为，可能起码要经历好几轮预训练迭代，才能达到我们预期的质量。

主持人：那这种架构的 Scaling 是不是快到头了，需要新的突破，还是说……？

李飞飞：不不，我们才刚开始。

主持人：真的？哪怕不改动架构也能继续？

Justin Johnson：是的，我们基本上才刚起步，现阶段主要受限于算力。就像 Fei-Fei 常说的，数据非常重要，但每个环节都有瓶颈，目前继续做大模型的主要瓶颈其实是训练算力。

在研发过程中，我们依次训练了一系列规模递增的模型，这在博客里也略有提及。我们尝试了 Scaling 阶梯的最初几档，每次把模型做大、训练更久、用更多芯片，效果都会有显著提升。

博文中展示的模型显然是我们训练出的最大、最好的一个，但限制它的并不是模型容量或数据，纯粹是因为我们定下了发布死线，只能倒推在截止日期前能负担多大规模的训练。

李飞飞：这里可以分享一个小插曲。Justin 团队当时正按照路线图，从小模型逐步往大做。初夏的某一天，用的还远不是现在 Atlas 的完整规模，而是一个小尺寸模型。

Ben 把素材喂进模型进行视角生成测试——就是 NeRF 论文以及后续很多论文里那张著名的户外花园长桌。第二天一早我收到了 Slack 消息，其实我们全员都看到了 Ben 发的那条视频：虚拟镜头居然平滑地从桌子底下穿梭而过……

Justin Johnson：桌底下还放着个足球。

李飞飞：对，还有那个足球！

Ben Mildenhall：那个足球是模型自己生成的，还是原图里本来就有？

Justin Johnson：原图里本来就有。

李飞飞：是原本就有的，对吧？那天早上，我们三个看着彼此的眼睛说：“就是它了，我们就要做这个。”五秒钟之内我们就拍板敲定了方向。因为此前全世界从未有人见过这种结果。

主持人：Ben，你能更具体地讲讲应用场景吗？World Labs 过去吸引了大量创意领域的创作者，他们用你们的模型来保持一致性，比如 2D 图像、影视制作、3D 建模、游戏开发等等。你能聊聊 Atlas 如何拓展这些场景、或者更好地服务现有需求吗？稍后我还想重点聊聊机器人的应用。

Ben Mildenhall：好。其实挺有意思的，我们看到大家使用 Marble 的主要方式之一，正好切中了新视角预测这个点。比如我们很多……

主持人：Marble 是你们上一代产品。

Ben Mildenhall：对，是我们上一代产品。大家的使用习惯往往是：传一张图进去，生成一个高斯泼溅格式的完整 3D 场景，然后从不同角度截几张图就走人。

我们当时就想：“何不直接帮他们生成这几张图像呢？”本质上这就是一台 2D 虚拟相机在取景。以前那种方式画质损耗严重，用户也会觉得“泼溅出来的效果其实还能更好”。我们就想：“如果直接用生成式方法对这些视角建模，并赋予用户精确的机位控制权，会怎么样？”

视角合成这个命题在学术界研究了很久，但以往多局限于超稠密采集的语境；而“生成式视角合成”则是一个相对前沿的新课题。

在实际的创意生产流程中，大家的管线都是多阶段的，几乎没有人会靠单一的单体模型（monolithic model）包揽全部环节。创作者通常有一套情绪板（mood boards）和分镜表，从各个图像模型里挑出心仪的素材，导入视频工具串联成关键帧，随后还要不断裁剪后期。

在 Marble 上，我们看到了一个非常明确的细分刚需：为创作者提供最基本的确定性，让他们生成的内容能真正扎根在具有 3D 一致性的世界里。我自己就无数次和各种图像模型较劲，让它们生成同一个房间的不同视角，每次你看过去都会发现：东西全移位了，根本不稳定。

这一痛点恰恰表明，背后潜藏着巨大的真实价值。几十年来，创作者早已习惯了稳定的三维状态，习惯了在虚拟世界中像在现实中那样搭建舞台、布置道具和各种元素——无论拍电影、做节目、拍广告还是搭游戏场景，这种有状态性和持久性（persistence），对于空间推理和逐步构建环境至关重要。

现实中的人绝不会像拉老虎机那样思考：“生成一个画面，不满意就扔掉，再重新改提示词生成一个。”大家希望积累一套资产，用这种方式去构建一个世界。

所以，通过空间上下文等机制，我们致力于为用户提供同等级别的精准控制能力，支持输入包括带机位图像在内的各种多模态数据。未来，我们还会进一步让用户能够控制场景中的具体元素，实现自由编辑与交互。这不仅能在现有的创意领域解锁更丰富的应用，还能拓展到所有需要对实体空间进行虚拟复刻或前置预演的行业。

比如建筑与工程设计。我之前和一个做展会搭建的设计师聊过，现实中有无数需要实体搭建的东西，背后都要经历一段漫长痛苦的虚拟设计阶段。在这个流程中，在 3D 软件里建模修改往往是最繁重、最耗人力的环节。设计总监、主创架构师或客户开会时随口提了一句意见，或者随手勾了一张草图，设计师要想把这些反馈重新做到 3D 模型里，往往要耗费 95% 的工作量——开会半小时，回去改一周。

这主要是因为我们现在的 3D 建模软件本质上都是几十年前的技术逻辑，它从来没有变得像搭乐高、捏陶土、用手塑形或铅笔素描那样符合直觉。而这正是 AI 能够为人类流程释放巨大价值的核心场景，无论创意制作、工业设计还是建筑规划都能从中极大受益。这也激励着我们针对这些垂直人群开发不同形态的模型。

5 / 机器人最致命的死穴不是芯片

主持人：是的，我完全理解它对创意领域的价值，毕竟之前的 Marble 已经证明了这点，我也能明白它是怎么延伸到设计和建筑领域的。不过 Fei-Fei，你们收购了一家机器人公司，这就……

李飞飞：我们刚才聊到了两个……

主持人：我知道，我知道。但我还是觉得不太直观，尤其是结合 Atlas 来看，它跟机器人技术到底是怎么关联起来的？你能稍微梳理一下吗？

李飞飞：其实 Atlas 是这块拼图里非常关键的一环。

我们收购的这家公司之前叫 CndX。他们的核心技术是什么呢？目前是一套从现实到仿真（real-to-sim），再从仿真到现实（sim-to-real）的系统。在机器人场景中，这意味着什么？

假设你想训练机械臂在工业环境里做线缆装配，你需要大量数据先训练出一个机器人策略（policy），再去评估这个策略表现如何，最后把它部署到实际的装配环境中。

为了进行训练，CndX 以及我们现在的机器人团队过去做的，正是 Ben 刚才说的那套稠密重建：拍下一堆现场照片，然后去重建那个环境。这个过程极度痛苦、耗时费力，严重拖慢了从现实走向仿真（real-to-sim）的迭代速度。

所以 Atlas 正是解决这个问题的下一代技术。而且这绝不仅仅适用于接线缆这一类任务。

如果放眼全局，你会发现目前机器人领域最大的问题其实是数据。未来某天可能会是芯片，但现在绝对是数据。

因为机器人实际作业环境的现实数据极难采集。不仅要收集比如装线缆或洗碗的数据，还有一个非常关键的步骤叫做随机化（randomization）：你必须在同一个环境中随机改变各种条件。比如线缆不仅会朝这个方向弯，还可能朝别的方向弯；箱子的尺寸、颜色、盖子各不相同，出现在场景里的位置也都不一样。除了能从互联网上获取的数据之外，你必须通过 real-to-sim 的方式才能拿到足够多的这种数据。

Atlas 会在 real-to-sim 这一步提供极大的助力。而这还只是满足当前技术下机器人需求的第一步，因为我们现在还没有一个足够鲁棒、能直接用于机器人的前沿基座模型。

但 Atlas 是一个全模态、多模态的模型。它接收不同类型的输入，并生成不同类型的输出。你完全可以想象下一步，Atlas 开始接收动态数据，真正架起动作规划（action planning）、机器人技术与 Atlas 输出之间的桥梁。这都在路线图里。Justin，你刚才想说什么？

Justin Johnson：我想补充的是，训练机器人策略与我们之前见过的几乎所有 AI 应用都有本质上的不同。

比如生成一段代码、一张图或一段视频，模型本质上是在产出某种静态制品（artifact）。而这类制品在网上有海量的样本可以收集。想生成图片，网上有大把的图片；想生成视频，到处都是视频；想生成代码，也有现成的代码库可以参考。

机器人策略则完全不同。它产出的不是静态的东西，而是一套要去现实世界里采取行动、完成目标的策略。但现实世界并不总是如你所料，各种意外都会发生。因此机器人策略本质上是一个在物理世界中行动并与之交互的 agent，随时会面临各种突发情况。

所以训练策略时最关键的一环，就是在部署前让它经历所有可能出错的情况。这就是为什么仿真对机器人来说至关重要。

这通常有两个切入角度。一个是经典的传统仿真：你可以打开物理引擎，作为人类设计者，发挥想象力去构思完成该任务时可能出现的所有场景，然后手写显式代码把它们逐一建模。配合 coding agents，这个方向确实也能得到极大提速。

但还有另一个角度，就是走向更多数据驱动的仿真：我们能不能训练一个模型，让它自发理解环境和外部世界会对各种动作做出什么反应——有时甚至是以意料之外的方式反应？我们能否利用尽可能多的数据训练出这种神经仿真器（neural simulators），再用这些仿真器作为训练场来训练机器人策略？对 Atlas 来说，这是一个非常有趣的未来方向。

而且这还不算完。一旦有了这种训练出来的仿真器，在它的认知模型里，其实已经理解了这个世界，理解了世界会如何对动作做出反应。

那为什么不让这个仿真器本身直接成为规划器（planner）呢？这也正是我们对世界模型及其通用性的核心观点：一个模型必须理解一些底层的核心逻辑，包括如何生成世界、模拟世界，以及世界在不同情境下如何呈现。而理解世界对某种动作的反应，与构想通过什么动作让世界产生特定反应，本身就是高度相关的。

6 / 真正的世界从不静止：在动态中提纯真实与交互

李飞飞：确实。

主持人：顺便恭喜你们发布成功，外界的反响可以说是压倒性的好评，大概是今年最重磅的模型发布了，业内评价都非常高。不过我也收到了一位专家的反馈，我发信息问他：“你觉得怎么样？”他人很厉害，回我说：“非常棒，很惊艳，但还需要引入更多动态（dynamics）。”

所以看起来，至少在机器人应用上，或者就世界模型本身而言，让世界真正能“动”起来才是最理想的状态。能不能聊聊这方面？另外在方便透露的前提下，还有哪些你们觉得值得探讨的未来方向？

Justin Johnson：动态肯定是要做的，其实……

李飞飞：其实我们已经有初步的动态了！

Justin Johnson：对，其实已经内置了一些初级动态，大家可能还没怎么注意到，我们在博文里也没大肆宣传。

上一代 Marble 世界模型在底层是完全静态的，根本处理不了任何动态，这直接受限于它的架构和训练方式。做完 Marble 之后我们就意识到这是个大问题，所以在 Atlas 里彻底解决了。Atlas 的架构从底层就支持动态，训练数据里也有大量动态内容。如果仔细看我们发的一些视频……

主持人：我看到了！水面是有波纹起伏的。

李飞飞：对，水面上的波浪。

Justin Johnson：对，比如水面泛起波纹，还有生成的俯瞰航拍里，能看到小车在路上跑。所以动态能力其实已经包含在这个模型里了。

主持人：不过话说回来，如果想从多视角做 3D 重建，动态物体不会带来很大干扰吗？这两者难道不冲突？

Justin Johnson：不冲突，这反而是我们的核心论点之一。在做最基础的 3D 重建时，你确实希望完全没有动态，希望场景彻底定格，能精确还原某一瞬间的画面。但这恰恰是我们以前做 Marble 时遇到的瓶颈：完全静态的数据非常难找，规模根本做不大，也很难采集到更多。

后来我们意识到：即便你最终只要一个静态输出，最好的训练方式反而是让模型去接触动态数据。 把能搜集到的动态和静态数据全喂给它，让模型自己学会怎么把动态成分解耦出去。

所以在 Atlas 的预训练阶段，它其实已经接触了海量的动态数据。这次发布的版本在做后训练（post-training）时，重心放回了静态场景和空间位移上，减少了对时间维度的关注。但我敢肯定，预训练权重里已经沉淀了大量潜在的动态理解，后续我们会重点提升这一点。

主持人：Ben，那是不是意味着我们以后能看到 4D 视频了？我可以直接走进去在里面四处漫游吗……？

Ben Mildenhall：额，我觉得……

李飞飞：看他们脸上的笑就知道了！

主持人：其实我觉得，就算你们现在就此打住，不再做新架构，单靠把现有模型做得更大、更快、更好，就足以撑起一整个行业了。哪怕不做别的，这也是一个非常通用的横向底层原语。但撇开单纯的“更大更快”，针对你们目前聚焦的 3D 创意类应用，还有哪些方向是让你们特别兴奋的？

Ben Mildenhall：我很想继续推进多模态的深度。引入不同的控制维度在现阶段非常关键。我觉得很多人、特别是学术界，低估了给这类模型加入条件控制（control conditioning）的意义，只有具备控制手段，才能把模型内部沉淀的能力真正释放出来。其实说到动态与静态……

主持人：我甚至都不太确定自己有没有完全搞懂这些词的意思。

李飞飞：用大白话翻译，就是大家想要的“可编辑性”（editability）。我觉得可编辑性才是核心所在。

Ben Mildenhall：对。我们已经在单图生成模型上看到了这种能力，今年视频模型也开始迈出这一步，比如支持多轮交互，或者直观领会用户的意图：“我希望有这个人、这个物体，发生这样的动作”，然后自然地融合成一个画面，不需要用户做大量繁琐的手工干预，系统自己就能理解。

顶尖的图像编辑模型在这方面已经相当成熟了，但在视频领域还没怎么普及开，世界模型里就更少见。虽然有些实时模型做过一些玩具式的演示，比如输入一句话就冒出一只恐龙，但那还远谈不上实用。

我想把它做到真正的工业级水准。

这里的难点在于：你既要赋予用户控制能力，又绝不能以牺牲生成质量为代价，否则这就只是个花哨的把戏。如果你多给了几个调节选项，画质却肉眼可见地变差，没有哪位专业创作者会愿意放弃现有的顶级视频模型来用你的产品。

所以真正的挑战在于：如何在维持当前高画质水准的前提下，加入大家期盼的各种控制能力——比如场景交互、空间布局调控、固定场景中物体或角色的特征一致性，或者对时间流速的控制等等。

随着控制维度的丰富和深入，这个方向会衍生出极其广阔的产品形态和交互界面创新空间，让我们得以几乎从零开始，重新设计人类在电脑前与具备状态留存的 3D 世界交互的方式。这才是最终的目标：把构建这类系统所需的全部底层能力完整做出来。

7 / 生物为何演化出眼睛？

主持人：太棒了。除了把模型做得更大、更好之外，还有没有哪些让你们兴奋的新功能补充？

李飞飞：对我来说，还是要回到智能的第一性原理。

面对三维物理空间时，智能绝不只是被动地坐在那里看、或者仅仅做解释，对吧？真正的智能，必须形成“观察、体验与交互”之间的闭环。 沿着这个阶梯不断往上走，正如 Ben 刚才所说的那样。

Justin Johnson：很有意思。说到这里，还有一个概念叫“AI 完备性”（AI-completeness），你之前听过吗？

主持人：听过，聊大语言模型时经常有人提。大意就像是说，你得做出最聪明的 LLM 才能回答出终极问题，或者说解决了它就等于实现了通用人工智能。

Justin Johnson：不，它其实对应的是图灵完备（Turing completeness）的概念。

在经典计算复杂性理论中，如果一个任务具备完备性，就意味着同类别的任何问题都可以规约到这一个问题上。比如最经典的 3-SAT 问题，你可以把任何 NP-hard 问题规约到 3-SAT 上，因此只要解出了 3-SAT，就能解出这类所有问题。

主持人：对，懂了。

Justin Johnson：所以对“AI 完备”的一个通俗定义就是：存在某种极其基础的原语任务，如果你能在最广泛、最通用的意义上彻底解决它……

主持人：就能连带解决所有智能问题。

Justin Johnson：……就能解决所有的智能问题。

在 LLM 领域，最经典的论点就是“下一个 Token 预测具备 AI 完备性”。就像 Ilya 举过的那个著名例子：让模型读完一整本侦探悬疑小说，最后一句话是“凶手就是……”，去预测下一个 Token。

主持人：没错。

Justin Johnson：你几乎可以把任何智能任务都转换成这种形式，所以大家公认下一个 Token 预测是具备 AI 完备性的。

但我们现在越来越意识到——Ben 今天早些时候也提到了这点——Atlas 所使用的“新视角预测”这一原语，尤其是生成式的新视角预测，同样具备 AI 完备性！因为你完全可以把任务设想成……

主持人：你可以把一整部电影的所有镜头喂给它，就在凶手即将现身的前一秒，让模型去预测谁会走出来！

Justin Johnson：一点没错！不仅如此，你甚至可以说：“我想构建一个世界，在这个世界里 Martin 正在白板上推演黎曼猜想的证明，随后镜头摇向下一块白板……”

李飞飞：然后镜头拍到了他解出黎曼猜想的整个过程！

如果从演化的视角来看，新视点预测恰恰是生物演化为了让动物能够移动而必须解决的根本问题。大自然赋予了动物眼睛，却没有给树木眼睛，为什么？因为只有移动，你才会看到全新的视角。 不管是叫它 AI 完备还是智能完备，这就是核心所在。

所以我们坚信，下一个视点预测，就是空间智能时代的下一个 Token 预测。

主持人：太棒了。再次祝贺各位带来了这样一次里程碑式的模型发布！我们非常期待你们后续的成果，感谢各位做客本期对话。

李飞飞：谢谢。

Justin Johnson：非常感谢。