搜索
李飞飞 World Labs 推出类云游戏世界模型演示应用 Frameboy
3 小时前
李飞飞创办的World Labs推出首个应用Frameboy，作为Atlas世界模型的优化演示版，其依托云端GPU流式传输，最高帧率达15fps，响应时间约70ms，体验接近云游戏。Frameboy提供多类精选场景供用户探索：既可基于单张图片补全新视角构成可探索环境，也可基于同地点多张照片生成照片内外的新视角；同时集成于Viewfinder应用中，支持用户自行输入内容逐帧构建场景，实时探索扩展虚拟世界。用户可像操控摄像机一样切换视角，生成三维一致的世界视图，每帧生成内容均包含颜色和深度信息。其背后的Atlas是从头预训练的通用世界模型，可处理文字、图像、视频和三维空间信息，核心机制为“空间上下文”，能将图像与对应摄像机的三维位置、朝向关联，接收精确的摄像机位姿生成对应视角画面，区别于靠文字描述控制运镜的普通视频生成模型。Atlas采用多模态自回归扩散Transformer架构，可生成高分辨率长视频，还能输出深度信息、点云、三维高斯泼溅等三维表示，支持实现子弹时间效果、低成本构建机器人仿真环境等用途。Frameboy的出现也为电影勘景、空间概念设计、游戏关卡构思等领域带来新的创作可能。
