刚刚,李飞飞发布世界模型新成果,一张图生成 3D 世界,现在就能玩
18 小时前 / 阅读约6分钟
来源:36kr
斯坦福大学教授李飞飞的创业公司World Labs上线空间智能成果Marble,可生成永久持续的3D世界,用户可自由探索,虽距商业化有距离,但已迈出重要一步。

今天凌晨,斯坦福大学教授李飞飞的创业公司 World Labs 正式上线了空间智能最新研究成果:Marble。 

上线了,但没完全上线。 

目前 Marble 是一个限量访问的 Beta 测试版平台,用户可以在官网地址(  marble.worldlabs.ai )浏览和创建 3D 世界。 

李飞飞在社交媒体上表示: 

这是使用我们的 3D 世界生成模型创建的一个极其庞大的世界。这让我惊叹不已! 

有网友迫不及待地问等待名单要排多久,「整个职业生涯都在创造虚拟世界」的专业人士也都觉得这是惊人的飞跃。 

当网友追问能不能移植到 VR 里搞交互,李飞飞则回应称:「我们有 VR 按钮,在世界查看器里点『分享』就行。」 

从技术角度看,World Labs 要实现的是:给 AI 一张照片,让它「脑补」出整个场景的几何结构——哪些面是平的、哪些是凸凹的、物体间的空间关系、深度、光照、材质、纹理等。 

这包括估计场景中隐含的深度地图和几何边界,然后生成一个可以随时探索的 3D 世界。 

关键是这个世界是永久持续的,不会变形,也不会出现不一致的情况。相比之前的技术成果,现在的生成世界更大、风格更多样,三维几何结构也更清晰。 

更贴心的是,在 Marble 里,创作者还可以将生成的世界导出为 Gaussian splats,并应用在后续项目中。 

World Labs 提供的开源渲染库 Spark 可以无缝整合 Gaussian splats 到 Three.js 中,用于搭建基于网页的 3D 体验,并且能在台式机、笔记本、移动设备和 VR 头显上高效运行。 

有体验过的博主 @ilumine_ai 表示:「目前它是利用 Gaussian Splatting(高斯溅射)生成 3D 世界的最佳工具。」看起来确实有两把刷子。 

官方博客提供了多个可简单体验的演示场景,涵盖室内外各种环境类型: 

  • https://marble.worldlabs.ai/world/eaea4512-4a78-4468-b818-1097c0778c77
  • https://marble.worldlabs.ai/world/b0c462c8-7c42-43d3-af15-d396db3e8dee
  • https://marble.worldlabs.ai/world/9ab27151-dd7e-44bc-8f87-cc0bcf047362
  • https://marble.worldlabs.ai/world/1511befa-793e-4ade-b348-75e326cf773e
  • https://marble.worldlabs.ai/world/fced9f37-e904-41a5-aabb-bbf6c5f57a29

用户可以直接在网页端用 W、A、S、D 键进行移动,鼠标拖拽调整视角,就像在玩第一人称游戏一样自由探索这些 AI 生成的 3D 空间。 

我试了几个空间,从室内场景到户外环境,立体感和细节还原度确实让人印象深刻。特别是光影效果和材质质感,比想象中要真实不少。 

不过,目前  Marble  距离真正的商业化应用可能还有段距离。 

比如 Marble 目前专注于生成 3D 环境,还搞不定人物或动物,所以「自拍爱好者和萌宠主人」暂时要失望了。而且虽然能生成「房间大小」的世界,但要构建真正的大型游戏场景,可能还需要更多技术突破。 

但好歹已经迈出了第一步,这就值得肯定。 

至少得益于模型在风格统一性和几何一致性上的提升,现在用户已经可以在这些大场景中畅快地导航、浏览,并体验更多应用场景。 

而这种视觉上的震撼,或许正是李飞飞想要证明的观点。作为 AI 赛道的先行者,她早就对大语言模型的局限性颇有微词。

她曾经这样吐槽:「自然界中并不存在语言。你走进大自然,不会看到天空中写着文字……真正存在的是一个遵循物理规律的三维世界。语言完全是一种生成的信号。」 

或许在她看来,文字 AI 再厉害,也只是在「纸上谈兵」,真正的 AI 应该能理解和创造三维空间。 

按照李飞飞的说法,空间智能已经能让我们「生成并重建无限的宇宙,用于创造、旅行、叙事,甚至社交」,甚至「让我们能够以多元宇宙的方式生活」。 

某种程度上,Marble 里的空间给我的感觉更像是一款游戏,其出现的时机 也正好赶上了「AI 游戏」这个赛道的集体发力期。 

马斯克此前也在社交媒体上宣布, xAI 将正式成立一个 AI 游戏工作室,重申要让游戏再次伟大,而真正意义上的 AI 视频游戏预计将在明年出现。 

而无论是 Runway 跨界搞的 AI 游戏平台 Game Worlds,让用户创建非线性叙事游戏,本质上把 AI 陪聊升级成了有目标导向的交互游戏;还是李飞飞的 Marble,整个 AI 游戏生态链似乎正在快速成型。 

方向或许各有侧重,但都指向同一个未来,让普通人也能轻松创建复杂的虚拟世界和游戏体验。 

我们这一代算是第一批「AI 原住民」了。 

现在看来,AI 不只是用来做作业、聊天、修图,很快就要开始用 AI 创造属于自己的虚拟世界了。想体验更多细节,赶紧去注册排队吧,说不定你就是下一个在虚拟世界里「创业」的 AI 原住民。 

附上博客地址: 

https://www.worldlabs.ai/blog/bigger-better-worlds