从“等渲染”到“边逛边生成”
11月5日,李飞飞领导的World Labs发布了Frameboy,一个基于Atlas世界模型的实时交互演示。它的核心变化不在于模型本身变聪明了,而在于用户与生成世界之间的关系被重新定义了。过去用Atlas,你需要预先规划好相机路径,提交生成任务,然后等待几十秒甚至几分钟才能看到结果。Frameboy把这个循环打破了:相机移动到哪里,云端GPU就生成哪一帧,以最高15fps的速率推流到浏览器里。
World Labs在官方博客里把这件事的意义说得很直白:当生成一个“坏想法”的成本趋近于零时,就不存在坏想法了——原本代价高昂的试错,变成了一次普通的探索。这句话指向的是创作流程的变化,而不是模型能力的跃升。
性能的刻度:15fps意味着什么,又缺了什么
15fps是一个需要被放在上下文中理解的数字。对于“实时探索AI生成世界”这件事来说,它是从“不可交互”到“可以交互”的门槛。HuggingNews披露的内部测试数据显示,模型对输入的响应时间约70ms,从用户操作到画面显示的端到端延迟控制在200ms以内。这个延迟水平足以让相机控制感觉上是“跟手”的,而不是“发出去等回音”。
但15fps距离传统交互图形系统仍然有明显差距。AlphaSignal在报道中直接点出了这个落差:常规游戏引擎和实时渲染管线以60fps为基准,15fps的峰值帧率意味着快速移动相机时,画面会出现可感知的顿挫感。另一个约束是成本:Frameboy跑在云端高性能GPU上,推理开销显著高于本地光栅化渲染。World Labs自己也承认,15fps是“最高”帧率,并不代表所有场景都能稳定维持在这个水平。
换句话说,Frameboy证明的是“这条路走得通”,而不是“这条路已经修好了”。
Atlas的底子:逐帧生成如何消除“导航滞后”
Frameboy能成立,依赖的是Atlas作为自回归世界模型的一个关键设计:它逐帧生成输出,每一帧都基于最新的相机位姿和先前的场景上下文。这与基于“块”(chunk)的生成方式有本质区别——后者通常预先生成一段固定长度的内容,用户移动相机时,画面更新会滞后于输入。Atlas的逐帧路径把生成放进了导航循环内部:相机动,模型就跟着生成下一帧。
Atlas本身是一个多模态自回归扩散变换器模型(Transformer),从零开始预训练,原生处理文本、图像、视频和3D数据,支持像素级精度的相机控制。Frameboy使用的是它的一个“高度优化变体”,在保留新视角合成质量的前提下,把推理速度和成本压到了可交互的区间。这个变体继承了一年前RTFM原型的思路,但模型规模和训练数据都大了几个数量级——RTFM主要做已有视角之间的插值,Atlas则能从单张图片或一句文本描述出发,生成完整的可探索场景。
谁用得上:影视预演、游戏原型与机器人仿真
World Labs列出的应用场景很具体:为电影勘景寻找虚拟机位、检查建筑工地的进度、为一个3D游戏关卡搭建概念、以及为机器人导航模拟环境。这些场景的共同点是,它们都需要在“最终产出”之前进行大量的空间决策,而每一次决策的代价,传统上要么是实地勘景的差旅成本,要么是等待离线渲染的时间成本。
Frameboy把这两类成本都往下压了一截。一个导演可以在浏览器里用鼠标和WASD键在AI生成的空间里走动,快速判断某个机位是否成立;一个机器人工程师可以在仿真环境中反复试错,而不必担心每次重置都要等一轮完整的渲染。当然,这些场景的“可用性”取决于一个尚未回答的问题:15fps的流畅度和云端GPU的成本,在真实的制作管线中能不能被接受。
一项研究预览背后的公司坐标
理解Frameboy的分量,需要把它放在World Labs自身的时间线上看。2026年9月28日,AMD宣布以约82亿美元的全股票交易收购World Labs,预计年底前完成交割。一个被芯片巨头以82亿美元价格买下的公司,在收购交割前拿出一个实时世界模型的公开演示,这件事本身就在传递信号:World Labs的技术路线——空间智能、世界模型、从生成到仿真——正在被纳入AMD的物理AI版图。
在竞品一侧,Runway的GWM-1已经支持24fps的HD实时交互,Decart的Oasis 3提供了按秒计费的API,Odyssey则在实时物理仿真上持续迭代。Frameboy的15fps在帧率上并不领先,但它的差异化在于Atlas的“从单图或稀疏视角出发、生成可自由探索的三维场景”这一能力组合,以及它与Viewfinder创作工具之间的衔接——用户可以先逐帧搭建场景,再切换到Frameboy模式实时探索。
Frameboy目前是公开的研究预览,Viewfinder仍处于封闭测试的候补名单阶段。15fps、200ms延迟和云端GPU账单,是这份预览目前交出的全部数字。它们说明实时世界模型已经从“能不能做”进入“做到什么程度”的阶段,而“什么程度才够用”,要等影视、游戏和机器人领域的早期用户用自己的工作流来回答。
关于World Labs
World Labs成立于2024年4月,总部位于旧金山,由李飞飞与贾斯汀·约翰逊、本·米尔登霍尔等人联合创立,专注“空间智能”和世界模型研究。李飞飞是斯坦福大学计算机科学系首任红杉教授、斯坦福大学以人为本AI研究院(HAI)联席院长,主导创建了ImageNet数据集,曾任谷歌云AI与机器学习首席科学家。公司另两位联创同样带有鲜明的学术印记:约翰逊是李飞飞在斯坦福的博士生、现任密歇根大学教授,米尔登霍尔是神经辐射场(NeRF)的第一作者。
World Labs的融资与估值曲线,几乎踩在了物理AI热度上升的每一个节点上。2024年9月,公司完成2.3亿美元融资,估值约10亿美元;2026年2月完成10亿美元新一轮融资,AMD和英伟达均在投资方之列,当时估值约50亿美元。2026年9月28日,AMD宣布以约82亿美元的全股票交易收购World Labs,预计年底前完成交割,李飞飞将出任AMD执行副总裁兼首席科学家。

(素材来自:World Labs 智算芯能前沿网综合)
本文由智算芯能前沿网编辑整理,转载请注明出处。

