世界模型从“看见”跨到了“听见”
10月27日,谷歌DeepMind以研究预览形式发布了Genie 4。官方对它的定位是“迄今最逼真、最具交互性的世界模型”,而这一代最显著的变化不在画面分辨率或物理拟真度上,在于声音。Genie 4是DeepMind第一个原生生成实时音频的世界模型:每一帧画面生成的同时,环境声、背景音乐和角色对话同步产出,风声、海浪、脚步,以及角色对场景中正在发生的事件的即兴回应,都来自同一个模型。
这与“给视频配一条音轨”是两种不同的工程路径。后者的音频和画面是两条独立的生成管线,对齐靠后期;前者的音频和视觉在同一个生成过程中被联合建模,声音天然跟着场景走。DeepMind官方博客的表述是,Genie 4“原生多模态”,音乐、环境噪音和交互式对话与世界同时生成。这一能力是否在所有场景中稳定成立,目前只有官方演示片段可供参考,尚无第三方独立验证。
Gemini坐在导演椅上,Genie负责实时渲染
Genie 4的另一条结构性变化,是Gemini在系统里的角色从“外挂”变成了“在环”。Gemini 3.8 Flash作为引导智能体持续观察正在生成的场景,把用户的目标拆解为步骤,逐帧检查进展,并在场景偏移或用户中途干预时即时调整计划。用户可以用自然语言实时改变天气、移动镜头、加入新的人物或物体,Gemini会结合周围场景对指令做情境化适配,而不是机械执行一句孤立的话。
DeepMind研究总监Tejas Kulkarni把这一方向概括为“混合式世界模型”:Gemini负责代码和文本层面的规划,Genie实时接收并在不同抽象层级上模拟现实。这与Genie 3时代“一个模型包办全部”的思路有本质区别,它把“推理该发生什么”和“渲染出那件事”拆给了两个擅长不同任务的模型。代价是系统的复杂度上升:音频、视觉、规划三者之间的时序对齐,需要在实时循环中维持,而这一点目前没有公开的延迟数据可以评估。
两分钟的一致性窗口,和物理拟真度的增量
Genie 3能维持约一分钟的连贯场景,Genie 4把这个上限翻倍到了两分钟。两分钟在电影里是一个长镜头的时长,在世界模型里则是一个更微妙的数字:它足够支撑一段概念演示或机器人任务的完整模拟,但距离“长时间运行不漂移”仍有明显距离。DeepMind在发布中主动承认了这一点——模拟时间拉长、经历多次复杂指令修改之后,视觉细节和物体的恒常性会开始漂移。
物理和人物模拟的改善是这一代另一个可感知的增量。官方描述是,空气动力学、碰撞和环境阻力等复杂交互的准确度提升,数字人物的动作、面部表情和对环境的反应比Genie 3更自然,不再有前代那种“机械感”。但这些描述同样来自官方演示,没有独立的物理一致性基准或人物动作评估数据对外公开。一家第三方评测在对比Genie 4与Odyssey-3时给出的观察是:Genie 4没有公布任何分辨率、帧率、延迟或基准分数,这使得外界目前只能依据厂商提供的材料形成判断。
机器人训练是正经用途,影视原型是测试者发现的新场景
DeepMind为Genie 4列出的主用途包括游戏、交互式学习和机器人训练。其中机器人一侧有一个具体的实验:在Gemini Robotics关联的工作中,Gemini 4 Argon把任务拆解成步骤,Genie 4实时模拟每一步的结果,让开发者在物理机器人执行任务之前先在虚拟环境中检验策略。这个场景的价值不在于模拟有多好看,而在于它把“试错成本”从真实硬件转移到了生成式环境里,而试错成本恰恰是机器人训练最贵的部分。
一个没有被官方列入初始用途、但被早期测试者推到前台的场景是影视原型。DeepMind工程师Diego Rivas在简报中的说法是,实时能力在“需要快速构思”的阶段价值最高,比如概念开发和故事板环节,创作者可以在保持创作流的状态下反复修改场景。沃顿商学院教授Ethan Mollick在体验中用一句提示生成了一座“由机器人和马匹居住的新哥特式粗野主义城市”,并在随后实时加入了巨龙和NPC角色。这类演示的说服力在于交互的即时性,而不在于成片的完成度;Genie 4目前更接近一块可以即兴涂改的画布,而不是一台能直接输出成片的摄影机。
竞争在升温,但可验证的数字还没有出现
Genie 4发布的时间点,世界模型赛道正在同时经历产品迭代和资本整合。Runway几个月前推出了GWM Worlds 2,同样主打可交互响应和音频生成;李飞飞的World Labs被AMD收购;亚马逊在洽谈收购Decart;Rivian收购了Third Dimension,把模拟能力引入自动驾驶测试。DeepMind把Genie 4放在AGI叙事的关键位置上,官方博客的表述是“理解和模拟世界是构建AGI的关键一步”。
但研究预览的性质决定了它还不是一个可以被公平比较的产品。Genie 4目前只向受信任测试者开放,接下来数周内会通过Project Genie向Google AI Ultra订阅用户和Gemini API、AI Studio的早期合作伙伴逐步放开。分辨率、帧率、延迟、定价、API条款,全部未公布。音频准确性、虚拟世界内文字的可读性、空间精度和长期一致性,被官方列为仍在研究中的问题。所有生成的视频和音频会附带SynthID水印,安全评估已经完成,但独立的安全结果没有随公告发布。
(素材来自:谷歌DeepMind 智算芯能前沿网综合)
本文由智算芯能前沿网编辑整理,转载请注明出处。

