新加坡国立大学研究团队绘制AI机器人的"预见力"蓝图：当机器人学会在行动前"做梦"

这项由新加坡国立大学（National University of Singapore）团队完成的综述研究，于2026年6月18日以预印本形式发布，论文编号为arXiv:2606.20781。感兴趣的读者可通过该编号在arXiv平台上查阅完整原文。

人类在做任何复杂动作之前，往往会在脑海中先"预演"一遍。一位厨师在切菜前已经想好了下刀的角度，一名篮球运动员在投篮前已经感受到了球的弧线。这种"提前预见未来"的能力，长期以来是人类行动智慧的核心。而对于机器人来说，这种能力却一直是一道难以逾越的鸿沟。这篇综述研究的核心，正是关于机器人如何获得这种"预见力"——研究团队为这类具有"行动前预见未来"能力的模型起了一个专门的名字：世界行动模型（World Action Models，简称WAM）。

这篇综述梳理了近年来爆炸式增长的相关研究，为整个领域提供了一套统一的分析框架。在此之前，这个领域里各路研究者各说各话，有人叫它"视频策略"，有人叫它"世界模型"，有人叫它"视觉语言行动模型"，同一件事却有着截然不同的名字，严重阻碍了知识的积累和交流。这篇综述的价值，正在于给这个混乱的领域画了一张清晰的地图。

一、机器人的三种"先知"：从"只看当下"到"预见未来"

要理解WAM的价值，先要搞清楚机器人学习领域的演进脉络。

在最初的模式中，机器人就像一个只会"看图说话"的孩子——给它看一张图，告诉它一段指令，它直接输出下一步动作。研究团队把这类模型叫做视觉-语言-行动模型（VLA）。谷歌的RT-2、OpenVLA以及Physical Intelligence公司的π?系列，都属于这一类。这类模型的优势是简洁直接，它从海量互联网数据中积累了丰富的语义知识，能够理解"把红色杯子放到蓝色盘子旁边"这样的复杂指令。但它的致命弱点是：它从不思考"如果我这样做，接下来世界会变成什么样"。它活在永恒的当下，没有任何对未来的预判。

与此同时，另一个方向的研究者在做完全不同的事情——他们试图让机器学会"预测未来"。这就是世界模型（World Model）的路线。你可以把世界模型理解成一个内置的"物理模拟器"，它能够根据当前状态和你打算采取的行动，推演出"世界接下来会变成什么样子"。PlaNet、DreamerV3等著名系统都走这条路，它们让机器人在脑海中反复"想象"各种行动的后果，然后选择最优方案。但这类模型有时过于沉溺于"想象"，跟真实的行动决策之间存在脱节。

WAM的核心创新，正是把这两条路打通。一个WAM必须满足一个明确的条件：它对未来的预测，必须真正地参与到行动的产生、评估或训练当中。换句话说，"预见未来"不是一道可选的附加题，而是答题的必经之路。研究团队在论文中用一张清晰的图示区分了这三类系统：VLA只管从当前输出行动；世界模型只管预测未来观测；WAM则把两者耦合在一起，让"预见的未来"真正决定"采取的行动"。

一个VLA如果加了一个辅助的"预测未来"损失函数、但这个预测结果在推断时完全被丢弃，那它依然不是WAM。这条界定非常严格，也非常重要——它确保了"世界行动模型"这个名字不会被滥用。

二、三条通往"预见力"的不同道路

既然WAM的定义是"预见未来并用于行动"，不同的研究团队在实践中选择了截然不同的实现方式。研究团队根据"在推断行动之前，模型必须生成到什么程度"，将现有的WAM分成了三大哲学流派。

第一条路叫做"渲染-解码"路线。这是最直观的方式：先用视频生成模型把未来的画面完整地渲染出来，然后再从这段生成的视频中解读出应该执行的动作。2023年的UniPi是这条路的开山之作——它先用文字描述生成一段未来视频，然后用"逆向动力学"模型从视频帧之间的差异中推算出机器人应该执行的关节运动。这条路的优势是直观透明：你可以实际看到机器人"想象"出来的未来画面，可以检验它是否合理。但代价也显而易见：每次决策都要先生成一段完整的高清视频，计算开销极其巨大。

第二条路叫做"纯潜变量"路线。这条路的研究者意识到，对于行动决策而言，完整的像素级视频往往包含大量"无用的美观细节"，真正需要的只是其中的运动轨迹、物体位置关系等核心信息。于是他们保留了视频生成模型的训练框架（以获取其学到的物理规律），但在推断时，他们在生成过程的"中途"就停下来，直接从中间的潜变量（一种压缩的内部表示）中提取行动信号，而不再走完整的解码到像素的最后一步。VPP、mimic-video、Fast-WAM等都属于这一类。这条路节省了大量计算，同时保留了视频预训练带来的物理先验知识。

第三条路叫做"无视频生成"路线。这条路走得更彻底——它完全抛弃了视频生成模型这个骨架，转而用语言模型、视觉-语言模型、特征预测网络等作为"预见未来"的工具。FLARE就是代表：它训练一个策略模型，让它去预测未来观测帧的特征嵌入（来自一个冻结的视觉编码器），然后基于这个预测的未来特征来决定行动。这条路完全规避了视频生成的高昂代价，但代价是"未来"被表示成了一种没有视觉直觉的抽象向量，很难直接检验其合理性。

值得关注的是，从时间线上看，这三条路并非并列出现，而是有明显的演进趋势。2023年前后，以UniPi为代表的"渲染-解码"路线率先亮相。随后，"纯潜变量"路线开始兴起，研究者们试图保留视频预训练的好处，同时降低推断时的开销。到了2025年底至2026年，"无视频生成"路线大量涌现。整体趋势极为清晰：整个领域正在从"尽可能多地生成未来"走向"只生成行动真正需要的那部分未来"。

三、解剖一个WAM的四个核心零件

光有三种哲学流派还不够——为了让不同研究之间真正可以比较，研究团队建立了一套四维坐标系，把每个WAM拆解为四个独立的设计选择。

第一个维度是"预测底物"（Predictive Substrate），也就是"未来到底被表示成什么形式"。研究团队区分了四类底物。像素级底物最直观，就是完整的RGB视频帧或者可以解码回视频的压缩编码；特征级底物是没有固定解码器的学习状态向量，它存在于某个抽象的特征空间；几何底物是物理坐标系下的结构化表示，比如光流场、三维点云轨迹、深度图、位姿流等等；价值/可供性底物是任务相关的标注地图，比如价值函数图、接触概率图或末端执行器热力图。不同的底物选择，直接决定了模型能否方便地在视觉层面被人类理解，以及它携带了多少与控制直接相关的信息。

第二个维度是"行动耦合"（Action Coupling），也就是"行动是怎么和未来预测挂上钩的"。研究团队梳理出三种主要方式。第一种叫"行动条件下的展开"：先提出一个候选行动（来自规划器、采样器或人类操控者），然后用世界模型预测如果执行这个行动，未来会变成什么样，最终选出后果最好的那个行动。这种方式的优点是支持反事实推理——"如果我这样做会怎样"。第二种叫"联合生成"：未来的底物和行动由同一个模型在同一个生成过程中协同产生，彼此高度耦合。第三种叫"后预测行动头"：模型先生成未来底物，然后用一个单独的小模块（逆向动力学模型、跟踪器、优化器等）从这个预测的未来中解读出行动。

第三个维度是"架构骨干"（Architectural Backbone），也就是"用什么机制来产生预测"。这里有五大家族：迭代去噪骨干（视频扩散模型，代表是各种DiT）；自回归骨干（逐帧或逐token预测，代表是GPT类模型和GR-1、GR-2）；联合嵌入预测骨干（JEPA风格，代表是V-JEPA系列，它用一个简单的特征预测器而不是生成像素）；混合骨干（同时带有视觉生成头和行动头的共享主干）；以及大语言/视觉-语言模型骨干（以语言模型为核心，不依赖视频生成）。每种骨干在计算效率、训练稳定性、物理表达能力等方面各有千秋。

第四个维度是"部署制度"（Deployment Regime），也就是"这个模型在控制循环中是怎么被调用的"。开环展开意味着模型只运行一次，生成整个任务的完整行动序列，然后机器人按图索骥地执行，中途无法修正。分块闭环控制是目前真实机器人部署中最常见的方式：模型每次生成一小段（比如10个控制步骤）的行动块，执行完这块之后用新观测重新规划下一块。单步闭环控制是每个控制步都调用一次模型，反应最快但计算压力最大。交互式模拟器操作则是一种流式模式，允许用户或环境的信号随时打断和修改进行中的生成过程，模型通过键值缓存维护长期状态。

这四个维度组合起来，就像一个四维坐标系，任何一个WAM都可以被精确地定位在这个坐标系中。论文中的两张大表，详细记录了超过100个WAM在这四个维度上的坐标，是整个综述最宝贵的参考资料之一。

四、部署之后，一个好的WAM需要通过哪些考验

把一个WAM放进真实的机器人控制循环之后，它必须表现出五种核心性质，任何一条打折扣，整个系统都可能失效。

第一个考验叫"可交互性"：控制信号必须能够在生成过程中随时修改预测方向，而不是只能在生成之前输入一次。一个只能"先想好再行动"的模型，在遭遇突发情况时完全无力应对。研究团队梳理了从"后预测解码"到"生成内控制"再到"联合生成"的完整谱系，展示了可交互性是如何随着行动信号越早进入生成过程而越强的。最彻底的设计，如AIM，把整个未来表示压缩成一张任务价值地图，行动必须通过这张地图才能产生，从根本上保证了控制信号的影响力。

第二个考验叫"因果性"：模型不能让"未来的信息"泄漏到"当前的行动决策"中。这听起来像是个显而易见的要求，但在实践中却异常棘手。一个在整段视频上联合去噪的扩散模型，天然地允许未来帧的信号影响当前帧的表示——在模型自己的想象空间里，这不是问题；但如果这个信号在真实执行时根本不存在，模型就会在真实环境中屡屡犯错。PhysGen、WorldVLA等模型通过精心设计的因果注意力掩码，严格切断了这种泄漏。除了正确性，因果性还直接关系到延迟——因果的流式生成允许一边生成一边执行，而非因果的全局生成必须等整个过程结束才能开始执行。

第三个考验叫"持久性"：在机器人边行动边重新规划的长期任务中，模型维护的对世界状态的记忆必须保持一致，不能随着时间漂移或丢失。误差累积是最大的威胁——每一步的预测误差都会影响下一步的预测，长此以往，机器人脑海中的"世界"就会和真实世界越走越远。DreamZero采用了一种优雅的解决方案：它定期用机器人的真实观测替换想象中的观测，并刷新键值缓存，从而把"漂移的想象"重新拉回"真实的轨道"。

第四个考验叫"物理合理性"：预测的未来不仅要"看起来像真实视频"，更要"机器人实际上能够执行得出来"。这两者之间有巨大的鸿沟。一段视觉上完美流畅的生成视频，可能要求机器人的手臂穿过物体、或者以超越关节极限的姿势运动。研究团队提出了一个很有启发性的"抽象层级"：越往下预测（从像素到光流到语义掩码到特征），保留的外观细节越少，但与控制直接相关的运动几何信息越纯粹。光流这一层尤其受到关注，因为它天然地描述了物体的运动，能够跨越人类视频和机器人执行之间的域差距，正如Im2Flow2Act和3DFlowAction所展示的那样。

第五个考验叫"泛化性"：模型必须能够在训练中没见过的新任务、新物体、新场景、新摄像头视角、乃至新的机器人身体形态下继续有效工作。这是五个性质中最复杂、也最关键的一个，因为泛化不是一个单一的性质，而是一组不同轴向上的迁移能力的集合。研究团队分析了视频先验迁移、底物迁移和行动抽象迁移三种路径，并指出了一个核心原则：在能够约束行动的最不变层次上进行预测。像素层携带了最丰富的语义先验，但也携带了最多的外观特异性噪声；光流层过滤了纹理、光照等干扰，只保留运动信息；特征层则能进一步抽象，在使用行动无关视频进行规模化预训练时尤为有用。

五、数据、评估与那些没有答案的难题

一个WAM能学会什么，首先取决于它吃进去的是什么数据。研究团队把WAM的训练数据来源梳理为五个大类，每类都有独特的优势和局限。

机器人遥操作数据（如Open X-Embodiment汇聚了来自众多实验室的机器人轨迹数据集）提供了最高质量的行动标注，但每小时数据都需要真实机器人和人类操作员的配合，成本高昂。便携式人类示范数据（如EgoMimic用轻量可穿戴设备录制人类第一视角动作）大幅降低了采集成本，代价是引入了需要桥接的"人机差距"。互联网规模的第一视角和教学视频（如Ego4D、EPIC-KITCHENS）提供了海量的视觉动态先验，但普遍缺少行动标注，因此只能通过辅助手段（如逆向动力学、潜动作发现）来恢复行动信号。仿真平台（如ManiSkill、IsaacSim、RoboCasa）能以极低的边际成本生成带精确行动标注的训练数据，但存在"仿真到现实"的迁移障碍。WAM自身生成的合成数据是最新出现的一种来源——DreamGen等方法用WAM生成机器人视频，从中提取伪行动标注来训练最终策略，实现了一种"以梦哺梦"的自我强化，但同时也继承了生成器自身的错误。

在评估方面，研究团队指出了一个严峻的现实：视频生成质量指标（如FVD、PSNR、SSIM、LPIPS）既便宜又熟悉，但它们奖励的是视觉真实性，而非行动有用性——一段看起来完美的视频，其预测的接触、几何或本体感知可能完全错误。真正重要的是闭环基准测试（机器人在真实或仿真环境中真的完成了任务），但这些测试耗费大量机器人时间、仿真算力或人力。物理合理性和长期连贯性的专门指标尚未形成标准，这是整个评估体系的明显漏洞。研究团队提出，理想的评估应该是一个"准确率-预算"报告：把成功率、推断延迟、内存占用、持续任务长度和接触敏感失效标记一起呈现在同一坐标轴上，而不是仅仅报告一个成功率数字。

这篇综述的最后几章诚实地列出了七个目前没有明确答案的开放难题。第一个是"梦多还是做多"——在机器人控制循环中，究竟应该生成多详细的未来，这个决定目前是静态编码在模型架构里的，理想状态是根据当前任务阶段的不确定性动态决策，在接触和不可逆操作即将发生时多想，在例行运动中少想。第二个是"每个阶段该从什么数据学习"——互联网视频、人类示范、机器人遥操作数据应该分别在预训练、对齐和最终行动微调哪些阶段发挥作用，目前缺乏清晰的缩放规律指导这些决策。第三个是"记忆跟不上"——在长期任务中，如何让模型对世界状态的记忆随场景复杂度而非随任务时长线性增长，是一个尚未被解决的工程难题。第四个是"泛化到哪里"——泛化研究必须在训练之前就明确声明针对的是哪种迁移轴向，而不是事后报告表现后宣称泛化。第五个是"抽象行动如何接地"——用光流、潜变量代码等抽象表示替代真实控制命令的做法减少了对行动标注的依赖，但也让行动失去了物理句柄，如何在保留数据效率的同时引入物理约束信号，是一个开放问题。第六个是"未来何时是物理的"——一个看起来合理的未来可能对特定机器人来说根本无法执行，如何训练和评估对"机器人可执行性"而非仅仅"视觉合理性"的预测，需要专门的工作。第七个是"评估应该报告什么"——整个领域需要一种将成功率、延迟、内存和失效模式统一呈现的标准评估协议。

说到底，这篇综述做的事情，是给一个快速成长却高度混乱的领域画了一张地图。机器人要真正走进我们的生活，需要的不只是强大的感知能力，更需要能够在执行之前"想清楚"的推理能力。WAM正是通往这个目标的当前最具体的路径。研究团队通过"三种哲学流派"和"四维坐标系"这两套互补的分析工具，让不同研究之间的比较成为可能，也让研究者在设计新方法时能够更清晰地看到自己的选择意味着什么权衡。

贯穿全文的一个核心洞察值得在结尾反复强调：整个领域的演化方向，是从"尽可能多地生成未来"走向"只生成行动真正需要的那部分未来"——这正是论文标题"少梦多行"（Dream Less, Act More）的深意所在。对于普通读者而言，这意味着未来的机器人助手或许不会像电影里那样具有"全知全觉"的强大预见力，但它们会越来越擅长在关键时刻快速预判最重要的后果，并据此采取最恰当的行动。这种"精准的预见力"，或许比"完整的预见力"更接近于真正有用的智能。

有兴趣深入了解的读者，可以通过arXiv平台搜索论文编号arXiv:2606.20781查阅完整原文，也可以访问论文配套网站world-action-models.github.io获取持续更新的相关资源。

Q&A

Q1：世界行动模型（WAM）和普通的机器人策略模型有什么本质区别？

A：普通机器人策略模型（如VLA）只是把当前观测和指令直接映射到行动，不思考"做了这个动作之后世界会变成什么样"。WAM则必须在行动决策过程中真正使用对未来状态的预测——无论是先预测未来再从中解读行动，还是把行动和未来状态协同生成，"预见的未来"必须实质性地参与到"行动的产生"中，而不能只是一个被扔掉的附加计算结果。

Q2：WAM中的"纯潜变量"路线和"渲染-解码"路线相比，主要牺牲了什么？

A：主要牺牲了直观可解释性。渲染-解码路线生成完整的像素级视频，研究者和工程师可以直接观看机器人"想象"出的未来画面，判断其是否合理。纯潜变量路线只产生中间的压缩表示，这些表示没有固定的视觉解码器，无法直接被人眼检验，因此当系统出错时，诊断失败原因更加困难，也无法使用视频质量指标来衡量预测好坏。

Q3：WAM在真实机器人上部署时，目前面临的最大实际障碍是什么？

A：最大的实际障碍是推断延迟与控制频率之间的矛盾。真实机器人的控制循环通常需要每秒几十次甚至上百次的行动输出，而一次完整的视频扩散模型推断可能需要数秒。DreamZero是目前在大型视频扩散骨干上实现闭环控制的少数案例之一，它依靠键值缓存复用和观测替换等工程优化才勉强达到7Hz的控制频率。如何在不损失太多物理先验的情况下大幅压缩推断时间，是整个领域最紧迫的工程挑战。