复旦大学的机器人"大脑"进化史：当AI终于学会"预见未来"再行动

这项由复旦大学、上海创新研究院与新加坡国立大学联合完成的综述研究，于2026年5月以预印本形式发布于arXiv平台，论文编号为arXiv:2605.12090。感兴趣的读者可通过该编号查询完整内容。

你有没有注意到，当你伸手去拿一杯水时，你的大脑其实在手碰到杯子之前，就已经在脑海中"预演"了整个动作——杯子在哪里、需要多大的力气、手该弯曲多少度？这种"先想再动"的能力，对人类来说再自然不过，但对机器人来说，却一直是个难以逾越的鸿沟。

这篇综述论文正是围绕这个核心问题展开的：如何让机器人也拥有这种"预见未来、再付诸行动"的能力？研究团队将这种新型AI系统命名为**世界行动模型（World Action Models，简称WAMs）**，并对这一快速崛起的研究领域进行了第一次系统性的全面梳理。

这不是一篇描述单一实验的研究报告，而更像是一部关于"机器人大脑进化史"的百科全书——它告诉你，AI研究者们过去几年走过了哪些弯路、找到了哪些突破口，以及未来的机器人助手为什么可能比你现在见到的要聪明得多。

---

一、机器人的"近视眼"问题：只会看当下，不会想未来

要理解这项研究的价值，得先弄明白现在的机器人AI有什么毛病。

目前主流的机器人控制方式叫做**视觉-语言-动作模型（VLA模型）**。你可以把它想象成一个只会"看图说话然后动手"的助手。你给它一张厨房的照片，再说一句"帮我把苹果放进碗里"，它就会根据这两条信息直接输出一系列机械臂动作。这个过程就像一个从不抬头看路的行人——只盯着脚下，完全不考虑三步之后会遇到什么。

谷歌开发的RT-2、斯坦福开发的OpenVLA、Physical Intelligence公司的π0，都是这类模型的代表。它们确实能理解各种人类指令，也能操作没见过的物体，还能在不同机器人平台之间迁移，表现相当惊艳。但它们有一个共同的根本性缺陷：**它们不知道自己的动作会让世界发生什么变化**。

换句话说，这些模型是"反应式"的。它们观察当前状态，然后输出动作，但从不问自己："如果我这么做，接下来会发生什么？万一出错了呢？"就像一个厨师，知道该加什么调料，却从不尝味道——全凭食谱，不管结果。

这种缺陷在简单任务里不明显，但一旦任务变复杂——比如需要多步骤操作、需要应对意外情况、需要在没见过的环境里行事——问题就暴露出来了。机器人会像没有地图的旅行者，走一步算一步，走错了也不知道回头。

---

二、"预见未来"的新思路：世界模型登场

研究者们想到的解决方案，是给机器人装上一个"内置模拟器"。

这个模拟器的学名叫**世界模型（World Model）**。它的作用，就是让AI在真正行动之前，先在脑子里"过一遍电影"——预测：如果我做了这个动作，接下来场景会变成什么样？

以棋手为例：顶级棋手下棋时，不会只看当前棋局，而是在脑中推演"如果我走这步，对方会怎么应对，然后我再怎么走……"。世界模型赋予的，就是这种"在脑中推演未来"的能力。

世界模型本身并不是新概念。早在2018年，David Ha和Jürgen Schmidhuber就提出了这个想法，让AI通过玩游戏来学习"世界怎么运转"。此后，DeepMind等团队开发了一系列叫做"Dreamer"的系统，让AI在想象出来的虚拟环境里练习，然后把学到的技能用于真实世界——这就像运动员在脑中反复演练动作，以提升实战表现。

但这些早期的世界模型，和控制机器人手臂的"行动模型"是两个分开的系统。把它们粘在一起，中间有大量需要解决的工程问题。而这篇综述所梳理的，正是最近两三年里，研究者们如何把这两个系统真正融合起来，诞生出一种全新的AI范式。

---

三、WAM究竟是什么？一个精确的定义

研究团队在这篇综述里做了一件非常重要的事：他们给WAM下了一个严格的数学定义，并把它和几个容易混淆的概念区分开来。

按照他们的定义，一个真正的WAM必须同时满足两个条件。第一，它必须能够**预测未来状态**——也就是说，它得能回答"如果我采取某个行动，接下来世界会变成什么样"这个问题，而且这个预测必须是明确的、可量化的，无论是用视频画面表示，还是用某种抽象的数学向量表示。第二，它必须**把预测出的未来状态和行动决策紧密绑定**——不能是先想想未来、然后完全忘掉、再独立做决策，而必须是"因为我预见到了这个未来，所以我才做出这个决定"。

用数学语言说，WAM要建模的不只是"给定当前观察o和指令l，输出动作a"这样的条件概率（这是传统VLA的做法），而是"给定o和l，同时输出未来状态o'和动作a"这样的联合概率分布。

这个区别听起来细微，但含义深远。这意味着机器人的每一个动作，都必须有对应的"未来预想"作为支撑——就像你拿杯子之前脑中已经有了杯子被拿起来之后的画面。

为了避免概念混乱，研究团队还特别区分了几个近似概念。**视频行动模型（VAM）**只是WAM的一个子集，特指用视频帧作为未来状态表示的那类系统；而WAM更宽泛，未来状态也可以用点云、触觉信号、抽象向量等方式表示。**视频策略（Video Policy）**是指那些借用了视频生成模型的骨架结构、但不一定真的做未来预测的系统——它们可能只是把视频模型当成特征提取器用，并没有真正的"世界建模"目标。至于早期文献里出现的**行动世界模型（AWM）**这个叫法，功能上和WAM类似，但研究团队认为"世界行动模型"这个名字更准确，因为它强调的是一个以"行动"为核心目标、同时具备"世界理解"能力的主体，而不是一个被附加了行动功能的世界模拟器。

---

四、从"反应"到"预见"：WAM的两大建筑蓝图

研究团队把目前所有WAM研究归纳为两大类架构，用一个建筑比喻来理解最为直观。

第一类叫做**级联式WAM（Cascaded WAM）**，就像一个两层楼的建筑：底层是"世界预测部门"，负责先想象出未来会是什么样子；顶层是"行动决策部门"，接收底层的预测结果，然后据此制定行动方案。两个部门各司其职，信息单向流动。

在这套架构里，"未来状态"这个中间产物可以采用两种不同的形式。一种叫**显式规划**，就是真的生成出来你能看见的未来画面——比如预测出机械臂抓到杯子之后的视频截图。UniPi、VLP、RoboEnvision等早期系统都是这么做的：先用视频生成模型合成一段"任务执行视频"，然后从这段视频里提取出需要执行的具体动作。更进阶的做法是提取视频中物体的运动流（光流），把运动信息转化为机械臂的移动指令，这样连动作标注都不需要。另一种叫**隐式规划**，不生成完整的视频画面，而是把未来状态压缩成一种内部的数学向量——节省了大量计算资源，而且预测速度更快。VPP、LAPA等系统代表了这个方向。

第二类叫做**联合式WAM（Joint WAM）**，这就像一栋开放式办公室：世界预测和行动生成在同一个大空间里同时进行，彼此实时交流，共同完成任务。不存在严格的先后顺序，也没有截然分开的部门。

联合式WAM内部又分为两条技术路线。一条是**自回归路线**：把未来画面和动作都转化为离散的"词"，然后像写文章一样，一个词接一个词地往后生成。GR-1、GR-2、CoT-VLA、WorldVLA都走这条路。另一条是**扩散式路线**：不像写文章，而像冲洗照片——从一团随机噪声出发，经过多步"去噪"，同时清晰化出未来画面和需要执行的动作。PAD、UWM、DreamZero、Cosmos Policy等系统代表这条路线。

级联式和联合式各有利弊。级联式的优点是可以分别优化两个模块、也可以利用现有的强大视频生成模型；缺点是两个模块之间的"信息传递"容易出错，而且预测未来画面再从中提取动作这个过程，本身就会引入额外的误差。联合式的优点是让世界预测和行动生成真正融为一体，但训练难度更大，计算成本也更高。

---

五、"联合式WAM"的内部世界：各种精妙的融合方案

联合式WAM里，最有趣的问题是：世界预测和行动生成这两件事，到底怎么"合并"在一起？研究者们想出了很多不同的方案，每种方案都有自己独特的哲学。

自回归路线里，最早的做法是"分头行动、共享主干"——用同一个Transformer网络处理所有信息，但输出时分两个头，一个头负责输出预测的未来画面，另一个头负责输出动作。GR-1就是这么做的，而且有一个重要发现：强迫模型预测未来画面这个训练目标，本身就能让动作预测变得更准确，因为它迫使模型真正理解动作会带来什么后果。

随着技术发展，更进阶的做法是让未来画面和动作"说同一种语言"——把它们都量化成离散的符号，然后用完全一样的预测机制来生成。CoT-VLA走出了一个聪明的变体：先用自回归方式想象出未来画面，再基于这个"视觉思维链"来决定要采取什么动作，就像人先在脑中描绘出结果，再反推应该怎么做。WorldVLA的方案则略有不同，它通过特殊的注意力掩码机制，防止当前动作预测被之前已生成的动作所干扰，确保每个动作都是基于视觉和语言的真实理解。

一个更激进的思路叫做**潜在表示预测**，代表是VLA-JEPA。这套系统受到Meta研究院"联合嵌入预测架构（JEPA）"的启发，彻底放弃了生成可见的未来画面，转而在抽象的高维空间里预测未来——就像你不需要真的看到明天的照片，只需要在脑中形成一种"明天大概是这种感觉"的模糊但稳定的直觉。这种方式计算量更少，也不会被无关的视觉细节干扰。

扩散路线里，最简洁的方案是**统一流（Unified Stream）**：把未来画面的潜在编码和动作序列拼在一起，扔进同一个Transformer扩散模型里，让它在同一个去噪过程中同时清晰化出两者。UWM在这个基础上增加了一个巧妙的自由度：给未来画面和动作分配不同的噪声水平，这样同一个模型可以通过调节噪声水平来切换工作模式——有时候当纯粹的行动策略用，有时候当世界模型用，有时候两者兼顾。Cosmos Policy则更进一步，把价值函数（判断当前轨迹有多好）也一起编入这个扩散过程，让模型同时扮演策略、世界模型和价值评估器三个角色。

**多流（Multi-Stream）**方案则保留了两个独立的扩散分支，但通过各种机制让它们持续交流。CoVAR用专门的"桥接注意力"模块把视频分支和动作分支的特征混合在一起；LDA-1B用一种叫做MM-DiT的结构让两个分支在共享的注意力层里相互影响；DexWorldModel用具有"记忆"功能的TTT模块替换传统的KV缓存，降低了长时间执行任务时的内存负担；而DiT4DiT则采用"单向馈送"的方式：视频分支在去噪中间步骤截取内部特征，这些特征通过交叉注意力喂给动作分支，动作分支可以看到世界预测的中间状态，但视频分支不被动作反向干扰。

---

六、让机器人"想象未来"：支撑WAM的各类世界模型

要让WAM有效运作，首先得有一个能够可靠预测未来的世界模型。这个领域本身就有着丰富的积累。

最直观的世界模型，是**像素级预测模型**——直接预测未来视频帧。Chelsea Finn等人早在2016年就开始研究这个方向，训练神经网络根据当前画面和一个动作，预测下一帧会是什么样。随着生成模型的发展，扩散模型被引入视频世界建模，克服了逐步预测带来的误差积累问题。VideoGPT、Genie等系统则走自回归路线，把视频帧压缩成离散符号序列，用语言模型的方式来预测。

另一条路是**潜在空间动力学模型**——不在像素层面预测，而是在压缩后的抽象表示空间里预测。Dreamer系列就是这条路的集大成者：用循环状态空间模型（RSSM）在潜在空间里建模世界动态，让AI完全在"想象"中训练和规划，不需要和真实环境频繁互动。TransDreamer进一步把Transformer引入这个框架，改善了长时间依赖的建模能力。

语言条件的世界模型则代表另一个重要方向。文本-视频生成模型，如Sora、Wan、Latte等，本质上就是用语言描述来指挥"想象未来"的系统。这些模型在大量视频-文本对上训练，学到了物体、场景、物理交互和相机运动等丰富的世界知识。当用在机器人场景里时，研究者们在这些模型基础上加入机器人动作条件，把它们改造成可以根据机械臂动作预测场景变化的工具。

为了给机器人场景定制世界模型，一些工作专注于从人类操作视频中学习机器人动力学。SWIM、DreamDojo、DexWM等系统设计了各种方法，把人手的运动轨迹转化为机械臂可以模仿的动作表示，从而让从互联网上爬取的大量人类操作视频也能用来训练机器人世界模型。

---

七、世界模型如何帮助机器人学习：三条训练路线

除了被直接集成到控制架构里，世界模型还可以在外部以多种方式帮助机器人学习。

最直接的用法是**扩充训练数据**。真实机器人操作数据昂贵且稀少，但世界模型可以生成大量合成演示。Ctrl-World通过让π0.5策略在世界模型的想象环境里执行复杂任务、筛选出成功轨迹，用于监督微调，让真实任务成功率提升了44.7%。RoboScape直接用其物理感知世界模型生成的合成数据，训练出的策略性能可媲美在真实数据上训练的版本。

另一个重要用法是**替代强化学习训练环境**。真实机器人部署昂贵、危险且缓慢，但如果有了可靠的世界模型，就可以让AI在"模拟的想象"里大量练习。Dreamer系列正是这套逻辑的代表：在潜在空间里进行想象中的"行为回放"，用预测的奖励信号来更新策略。许多后续工作把这个思路拓展到了更复杂的机器人任务。

世界模型还可以充当**奖励生成器**。传统强化学习需要手工设计奖励函数，但这件事非常困难。VIPER利用预训练的视频预测模型来评估观察轨迹与成功行为的相似度，把这个相似度当作免标注的奖励信号。Diffusion Reward则从专家演示的条件视频扩散模型中提取奖励——如果当前轨迹的视频很容易从专家分布中生成，说明它接近成功，奖励就高。

最后，世界模型还可以作为**策略评估的虚拟测试场**。每次在真实机器人上评估一个策略既昂贵又耗时。Veo Robotics展示了用动作条件视频生成模型来虚拟评估机器人策略的可行性，并且还能通过生成图像编辑来测试分布外泛化性能，甚至模拟安全关键场景——这些事在真实环境里风险极高或根本无法实现。

---

八、喂给WAM的"食材"：四类训练数据

WAM不仅在架构上有别于传统机器人AI，在数据需求上也截然不同。研究团队详细梳理了四类主要的数据来源，并分析了它们各自的特点。

**机器人遥操作数据**是质量最高、但也最难获取的数据。这类数据里，人类操作员通过遥控装置操纵机器人完成任务，同时记录下连续的视觉观察、本体感知状态和精确的执行动作。对WAM来说，这种数据最宝贵，因为动作和状态转换是精确配对的。从最早的QT-Opt收集的58万条机器人抓取轨迹，到RT-1的13万条多任务演示，再到Open X-Embodiment（OXE）汇聚22种不同机器人、超过100万条轨迹的超大规模数据集，这个方向一直在向更大、更多样化推进。近年来，AgiBot World更是收集了超过100万条轨迹，覆盖87种技能，还融合了触觉、深度和本体感知等多模态信号。对于WAM来说，这类数据还在向更丰富的感知方向演进——DexCap通过动作捕捉技术记录灵巧手指运动，FuSe和AgiBot World整合了触觉传感器，Cable Routing和REASSEMBLE专注于柔性物体操作等视觉上难以分辨的复杂任务。

**便携式人类演示数据**则代表了一种成本更低、覆盖范围更广的数据采集思路。Universal Manipulation Interface（UMI）是这个方向的里程碑：用一个轻便的手持3D打印夹爪加上可穿戴摄像头，让普通人在日常环境里收集操作演示，通过视觉追踪把人类示范转化为机械臂可执行的动作。这套范式极大降低了数据采集门槛，后续衍生出了大量变体——FastUMI-100K已经积累了超过10万条带文本标注的轨迹，RealOmin更是在3000多种不同家庭环境里收集了100万条轨迹，融合了本体感知、IMU和触觉信号。对WAM的训练来说，这类数据提供了真实世界物理交互的多样性，同时保留了动作-状态的配对关系。

**仿真数据**的最大价值在于它提供了"特权信息"：完美的深度图、精确的6D物体位姿、精准的碰撞边界、无遮挡的多视角状态。物理引擎（MuJoCo、Isaac Sim、SAPIEN等）本质上就是一个计算世界模型，在这种环境里训练WAM，相当于直接从物理规律的源头汲取知识。MimicGen展示了用少量人类演示程序化生成数万条多样化轨迹的可行性，SynGrasp-1B更是利用Isaac Sim和MuJoCo生成了史无前例的1000万条抓取轨迹，RoboTwin 2.0和TesserAct专门生成了带深度和法向量信息的4D时空数据，用于训练更具空间感的世界模型。

**人类和自我中心视角数据**则是WAMs最独特的"秘密武器"。互联网上数以百亿计的人类操作视频，虽然没有机器人动作标注，但蕴含了丰富的物理世界知识——物体的持久性、重力、摩擦、因果关系、材质属性……这些都是机器人需要掌握的"直觉物理学"。SSv2的10万个短片捕捉了推、拉、投、撕等基础物理事件；Ego4D提供了3600小时的第一视角非脚本活动视频，并专门设立了未来预测基准测试；Ego-Exo4D同步捕捉了第一视角和第三视角，让AI学会独立于摄像机角度的3D空间理解。更近的工作走向另一个层次：EgoDex收集了829小时、覆盖194种任务的高保真3D手指追踪数据，直接将人类灵巧操作与机器人动作空间连接起来；EgoScale聚合了两万多小时的大量数据，专门为通用策略预训练设计。

---

九、WAM的体检报告：如何评判它到底好不好

一项技术能不能立得住脚，评估方法至关重要。研究团队系统梳理了目前评估WAM的各种方法，并指出了现有评估体系的严重缺陷。

评估WAM的世界建模能力，研究者通常从三个维度入手。第一个维度是**视觉保真度**——生成的未来画面好不好看、准不准确。常用指标包括PSNR（像素级误差度量，数值越高越好）、SSIM（考虑结构相似性的度量）、LPIPS（基于深度神经网络特征的感知相似度）、DreamSim（基于人类判断训练的相似度度量），以及FVD（评估真实视频和生成视频整体分布差异的指标，是视频版的FID）。

第二个维度是**物理常识性**——生成的世界是否遵循物理规律。VideoPhy专门测试视频生成模型在固体碰撞、固液交互、液液交互场景下的物理合理性；PhyGenBench用自动化的VLM评估框架检验物理现象识别、事件顺序验证和整体自然性；VBench-2.0专门评估力学、热学、材料状态变化等维度；Physics-IQ则要求模型从真实视频的起始帧预测后续物理演化，用空间IoU等指标衡量预测精度；EWMBench专门针对机器人场景，用末端执行器轨迹的空间偏差、时空对齐和运动动态等指标来评估世界模型在实体化环境中的预测准确性。

第三个维度，也是最独特的一个，是**动作可提取性**——生成的视频里，有没有足够的信息来恢复出可执行的机器人动作？WorldSimBench引入了"隐性操纵评估"，不只看视频好不好看，还看这个视频能不能被正确转化为控制信号。更有说服力的是"Wow, wo, val!"提出的"逆动力学图灵测试"：用一个逆动力学模型从生成的视频中推断动作序列，然后把这些动作在真实机器人上执行，看成功率如何——结果发现很多视觉上非常逼真的模型，在这个测试里几乎得零分，充分暴露了"看起来真实"和"能支持行动"之间的巨大鸿沟。

评估行动策略，则有一套更成熟的基准体系。MetaWorld提供50种机械臂任务，RLBench提供100种，CALVIN在语言引导的长时任务上考验模型，ManiSkill系列评估数据规模对性能的影响，LIBERO系列专门测试各种维度的泛化性和鲁棒性。针对双臂和类人机器人，有RoboTwin、BiGym和HumanoidBench等；针对移动操作，有ManipulaTHOR、HomeRobot和BEHAVIOR-1K；针对接触丰富的柔性物体操作，有SoftGym、PlasticineLab和TacSL等。近年来还出现了直接在真实机器人上评估的RoboArena、RoboChallenge和Maniparena。

---

十、悬而未决的难题：WAM还有哪些"硬骨头"

这篇综述的最后一部分，研究团队坦诚地列出了这个领域尚未解决的核心挑战。这些挑战定义了未来几年的研究方向。

第一个挑战是**架构耦合方式的选择困难**。到底是级联式还是联合式更好？是用扩散模型还是自回归模型？是显式预测像素还是隐式预测潜在表示？目前没有一个公平对照的系统性实验能回答这些问题。更深层的问题是：明确的像素级预测是必要的吗？还是说，世界建模对行动的帮助主要来自训练时提供的额外梯度，而不是推理时生成的画面？一些系统的证据表明，训练时预测未来有帮助，但推理时可以把预测头去掉而不影响控制效果——这暗示了一种更高效的"潜在预测"范式的可能性。

第二个挑战是**多模态物理状态表示的缺失**。现有WAM几乎清一色预测的是RGB视觉信息，但最关键的物理量——触觉分布、接触力、声学特征、材料顺应性——在像素空间里几乎是看不见的。一个被限制在视觉预测里的世界模型，在精确需要接触力知识的操作（比如精细装配、柔性材料处理）上有系统性的盲点。未来需要能够联合预测视觉、触觉、力觉等多模态未来状态的架构，同时又要优雅地处理"并非所有场景都有全套传感器"的现实。

第三个挑战是**数据混合设计原则的缺失**。用人类视频预训练确实有帮助，但为什么有帮助？是因为学到了低层的物理先验（重力、碰撞），还是中层的因果动态（这个动作会导致那个结果），还是高层的任务逻辑？最优的数据配方是什么？如何随着训练进程调整数据比例？这些问题目前主要靠经验摸索，缺乏系统性的理论指导。

第四个挑战是**长时程规划的瓶颈**。WAM目前主要在单次交互的短时任务上评估，但真正有用的机器人助手需要完成多步骤的复杂任务。世界模型的预测误差会随着预测步数增加而不断积累，行动误差也会在缺乏纠正的情况下越来越大。如何构建分层的世界-行动架构，让高层语义规划和低层物理预测有机连接，是一个核心的未解难题。

第五个挑战是**推理延迟**。DreamZero通过各种系统优化把WAM推理速度推到了7Hz，但离精细操作所需的50Hz标准仍有差距。更根本的问题是：控制一个任务真正需要多高的预测精度？如果性能提升在达到某个精度阈值后就趋于饱和，那目标就不应该是让高精度预测更快，而是找到足够精度的最小世界模型。

第六个挑战是**评估体系的严重缺陷**。当前评估完全解耦：世界建模和行动生成分别用各自的指标评估，没有人评估它们之间的因果一致性。核心缺失是：机器人的行动有没有真正"因为"对未来的预见而改变？如果我让预测的未来发生改变，行动会不会相应改变？有没有评估方法能测量这种"想象-行动因果对齐"？"Wow, wo, val!"的工作迈出了一步，但还远不够完整。未来需要专门设计同时评估预测质量和行动质量，以及二者之间因果关系的联合基准体系。

第七个挑战是**安全性**。一个能够预测未来并据此规划长序列动作的系统，一旦预测出错，可能会在停下来之前执行一系列破坏性动作，危害比简单的反应式错误更严重。但与此同时，WAM的预测能力也提供了一种内置的安全机制：在执行动作之前，先检查预测的未来是否违反了物理约束或安全规范。如何把这种"预测即防护"的逻辑在计算上高效且鲁棒地实现，是一个尚未系统研究的重要问题。

---

归根结底，这篇综述讲述的是一个正在发生的转型故事：机器人AI从"看到什么就做什么"的反射式系统，向"想好未来再行动"的预见式系统进化。这不只是技术细节的改进，而是AI控制范式的一次根本性跃迁——就像从只会背答案的学生，变成了真正理解题目逻辑的思考者。

WAM领域目前还相当年轻，从2024年到2026年短短两年间就涌现了近百篇相关论文，速度之快令人眩晕。研究者们在架构选择、数据策略、评估方法上都还处于积极探索阶段，很多基本问题尚无定论。但正是这种蓬勃的探索状态，让它成为人工智能研究里最令人期待的方向之一。

你可以试着问自己：如果你的家庭助手机器人不只会听命令，而是能提前预见你的需求、在脑中推演行动后果再执行，你觉得它会在哪些事情上变得更可靠？这个问题，正是研究者们努力回答的核心。有兴趣深入了解的读者，可以通过论文编号arXiv:2605.12090查阅原文，或访问研究团队维护的项目主页和GitHub仓库。

---

Q&A

Q1：世界行动模型（WAM）和普通机器人AI的区别到底是什么？

A：普通机器人AI（如VLA模型）直接从当前观察生成动作，不预测动作的后果。WAM则要求系统在决定采取行动之前，必须先预测这个动作会让世界变成什么样，并且行动决策必须基于这个预测，两者形成因果关联，而不是各自独立运行。

Q2：级联式WAM和联合式WAM哪种更好？

A：目前没有定论。级联式可以分别优化两个模块、利用现有视频生成模型，但两模块之间的误差传递是瓶颈；联合式让预测和决策真正融合，但训练难度和计算成本更高。研究团队明确指出，缺乏公平对照的系统性比较研究，是该领域急需填补的空白。

Q3：训练WAM为什么需要人类操作视频，机器人自己的数据不够吗？

A：机器人遥操作数据质量高但采集成本极高且数量有限。人类操作视频虽然没有机器人动作标注，但包含了物体物理规律、因果关系、材质属性等丰富的世界知识，WAM的世界建模部分可以从中学习"直觉物理学"，大幅减少对昂贵机器人数据的依赖。