机器人学会"脑内预演"：ProWAM如何用进度条解决长程任务的迷路难题

你有没有想过这样一个场景：你让家里的机器人去厨房把面包放进篮子里。

机器人看到了起点，知道了终点,但中间那段路到底怎么走,它心里完全没谱。这听起来有点荒谬,但这正是过去两年机器人控制领域一个真实存在的技术困境。

**让机器人脑子里先"过一遍电影"**

要理解这篇论文在解决什么问题，得先弄明白一个概念。

世界动作模型

世界动作模型*：一种让机器人在执行动作之前，先在"脑子里"生成一段未来画面，然后根据这段想象画面来决定怎么行动的技术框架。

这个思路其实挺反直觉的。一般人会觉得，机器人控制不就是看一眼当前画面，算出下一步动作吗？直接训练一个"看图生动作"的模型不就行了？但问题是，这种直接映射的方式在面对没见过的场景时特别容易翻车。桌子换了个颜色、灯光暗了一点、物体摆放角度变了，模型可能瞬间懵圈。

于是研究者们想了个办法：既然大规模视频生成模型（比如Stable Video Diffusion、Wan这些）已经从海量视频里学到了"世界是怎么运动的"这种常识，那为什么不让机器人先调用这种视觉常识，在脑子里预演一遍任务会怎么发展，再据此生成动作？这就是世界动作模型的核心逻辑。

但预演这件事，说起来容易，做起来却有一个绕不开的矛盾。

**两种预演方式，两种代价**

论文里把现有的做法分成了两个极端。

第一种叫全量想象

全量想象型WAM*：这类模型会生成一整段未来视频，包含密集的每一帧画面，然后根据这整段视频来指导动作生成。

这就像你要去一个陌生城市办事，导航软件不光告诉你终点在哪，还把从现在到终点的每一秒路况都给你播放一遍，包括每个红绿灯、每条车流的变化。信息是够详细的，但代价也明摆着：生成这么一大段视频，需要让那个视频生成模型反复去噪、反复迭代计算，非常耗时。如果不这样做会怎样？你会失去短期动态的精细指导。但如果真这样做了呢？论文里提到，朴素的联合去噪方案需要115.5 TFLOPs的计算量，单次动作生成延迟高达581毫秒,这在需要实时响应的机器人控制场景里是致命的。

另一种叫零想象

零想象型WAM*：这类模型完全不生成任何未来画面，直接从当前观察跳到动作输出。

这就像你完全不看导航，凭经验直接上路。速度是快了，但对于没走过的路线，你很容易迷路。论文里引用的FastWAM在RoboTwin的随机化场景测试中，成功率只有6.3%,而在clean场景下却有71.9%的表现，这个断崖式的下跌说明,一旦场景发生变化，没有视觉预演支撑的模型几乎完全失去了方向感。

那有没有折中方案？确实有一个叫ImageWAM的模型，它只预测一个终点画面,相当于只告诉你"最终你会到这里"，但完全不说中间路怎么走。这就好比你知道目的地在哪栋楼,但中间要过几个红绿灯、走哪条街,全靠自己瞎猜。研究者们管这个叫"final-goal prediction"（最终目标预测），论文里专门做了个小实验验证这种方式确实比完全不给目标强，但问题也很明显：只给终点,路径信息还是缺失的。

**进度条式预演：ProWAM的核心创新**

这就是这篇论文要解决的真正矛盾：想要路径指导，就要耗费大量计算;想要省计算，就只能牺牲路径指导。

研究团队想出的办法叫ProWAM

ProWAM*：全称progressive world action model（进展式世界动作模型），核心思路是不生成密集视频，而是生成一串按"任务完成进度"排好序的稀疏视觉子目标，用这些关键帧来指导动作生成。

这个设计思路的巧妙之处在哪？想象你要去一个新地方，手机导航不给你放实时路况视频，而是给你截了几张关键节点的照片：30%路程时你会看到一个加油站，60%时是个红色大桥,90%时就能看到目的地的招牌了。你不需要看完整段视频,只需要几张关键的"路标快照"，就能大致判断自己走得对不对。这就是ProWAM的核心思路：用稀疏的进度快照代替密集的逐帧预演。

这里有个关键的技术细节值得展开讲讲，就是这些子目标是怎么标定的。

相对进度坐标

相对进度坐标*：论文定义了一个从0到1的数值r，其中r=0代表当前观察到的画面，r=1代表任务完成时的终点画面。给定几个进度值（比如0.3、0.5、0.7），模型就会分别生成对应这些进度点的画面。

为什么要用"相对"进度而不是绝对的时间帧数？因为不同任务的长度千差万别。叠三个碗可能5秒就完成，组装一个复杂物件可能要几十秒。如果用绝对时间来标定子目标，同一个"30%进度"在不同任务里对应的物理时间差异巨大,模型很难学到一个统一的规律。但如果用相对进度这个比例尺，不管任务长短，30%永远代表"已经完成了小三分之一的路程"，这种统一的刻度让模型在面对任意长度的新任务时都有办法套用学到的经验。这跟地图比例尺的逻辑很像，不管你量的是一条街还是一整个省，比例尺保证了度量方式的一致性。

那这些子目标是怎么具体生成和使用的呢？论文里提到了一个叫混合专家结构

混合专家架构*：ProWAM采用的是一个视频生成专家和一个动作生成专家共享部分网络结构、协同工作的设计（原文称为mixture-of-transformers，缩写MoT）。

视频专家负责"脑补"未来画面和子目标，动作专家则盯着当前观察和这些子目标，算出具体的机械臂动作。这两者之间的信息流动不是随便流的，论文设计了一套叫非对称注意力机制

非对称注意力机制*：一种限制信息流向的设计，让动作生成模块可以参考视觉预测的结果，但视觉预测模块不会被动作信息干扰。

说白了，就是动作专家可以"偷看"视频专家脑补出来的画面，但视频专家完全不知道动作专家在算什么。这样设计是为了保护视频生成这条通路的纯净性,让它能够完整继承从海量视频（甚至是和机器人动作无关的纯视频数据）中学来的"世界常识"，不被动作数据的噪声污染。如果反过来让动作信息影响视频生成，视频专家的预测能力可能会因为要同时兼顾动作预测而打折扣，这种纯净性的保护，正是后面能用大规模无动作标注视频做预训练的关键前提。

**既要快又要准：缓存机制的妙用**

讲到这里，还有一个问题没解决：即便只生成几张稀疏的子目标图，也还是要跑一遍视频生成模型，这个计算量能不能再压缩?

论文给出的答案是键值缓存

键值缓存*：一种常见的深度学习加速技巧，在这里指的是视频专家只需要跑一次完整的去噪过程来生成子目标特征，然后把这些特征缓存下来，后续动作专家反复去噪生成具体动作时，直接复用这份缓存，不用重新调用视频专家。

这个设计的逻辑其实很朴素。你可以把它想象成开车去一个陌生地方前，先截好几张关键路标的照片存在手机里，接下来开车的整个过程你反复看的都是这几张存好的照片，而不是每挪动一米就重新联网刷新一次导航画面。如果每次调整方向都要重新生成一遍完整视频，那动作生成的速度会被视频生成的速度死死拖累。论文测算下来，这种缓存策略把计算量从115.5 TFLOPs压缩到18.7 TFLOPs，降幅达到84%，延迟从581毫秒降到313毫秒，降幅46%。更关键的是，性能没有掉，反而在这次测试里OOD成功率还高出3.3个百分点。

OOD

OOD*：全称out-of-distribution，指模型在训练时没见过的场景或任务变体下进行测试，用来检验模型的泛化能力。

这是机器人学习里一个绕不开的考验,因为真实世界永远比训练数据丰富得多。

**从视频里偷学常识：两阶段训练的设计**

ProWAM还有一个值得细讲的地方，是它的训练方式分成了两个阶段。

第一阶段叫纯视频预训练，这个阶段完全不涉及机器人动作数据，模型只是在大量的无动作标注视频（包括DROID数据集、AgiBot数据，以及OpenX-Embodiment里的57个任务）上学习怎么预测未来画面和怎么生成进度子目标。第二阶段才是联合微调，在少量昂贵的机器人示教数据上，把动作专家接进来一起训练。

为什么要分两步走？这背后其实是一个关于数据成本的现实考量。采集机器人实际操作的示教数据，需要专门的硬件、专门的人员操作，成本极高，数量也天然有限。但互联网上和各类开源数据集里的"纯视频"，不涉及动作标签的那种，数量级要大得多。如果能让模型先从这些海量的免费视频里吃饱"世界常识"，再用少量昂贵的机器人数据去"精修"动作生成能力，相当于省下了大量采集成本。这就跟学开车类似，你不需要先开几千小时的真车才懂交通规则，你可以先看大量的路况视频积累认知，上车后只需要少量时间去适应方向盘和油门的手感就够了。如果不做这个预训练阶段，直接上手训练会怎样？论文的对比实验给出了答案：没有经过第一阶段视频预训练的ProWAM-Base，在LIBERO-Plus的零样本测试上成绩从85.8%跌到80.3%，足足低了5.5个百分点。

**实验数据说话：到底好在哪**

说了这么多设计理念，具体效果如何呢？

论文在好几个主流的机器人仿真测试平台上做了对比。先看LIBERO

LIBERO*：一个机器人操控领域常用的仿真测试基准，包含多个任务套件，用来评估策略模型在抓取、放置等任务上的表现。

和它的进阶版LIBERO-Plus（引入了摄像头角度、光照、背景等各种扰动，专门用来测试模型的抗干扰能力）。ProWAM在原版LIBERO上拿到98.8%的成绩，基本到顶了。真正拉开差距的是LIBERO-Plus这个零样本泛化测试,ProWAM达到了85.8%，是目前已知最好的成绩，比之前最强的基线方法还要高出不少。

再看RoboTwin

RoboTwin*：一个双臂机器人操控仿真测试平台，包含50个任务，特别设计了场景随机化版本来考察模型的鲁棒性。

在这个测试里,ProWAM只用干净场景的数据训练，却在随机化场景测试里拿到75.7%的成功率,比之前最强的方法整整高出20个百分点。这个结果有点意思：模型训练时压根没见过那些随机化场景下的动作数据,但凭借视频预训练阶段学到的视觉常识,居然能在陌生场景里表现得更好。

下面这张表格汇总了这些核心结果：

| 测试基准 | 评测维度 | ProWAM成绩 | 对比基线最佳成绩 |

|---|---|---|---|

| LIBERO | 常规测试 | 98.8% | 99.2%（Being-H0.7） |

| LIBERO-Plus | 零样本泛化 | **85.8%** | 83.1%（Image-WAM） |

| RoboTwin | 干净场景 | 85.8% | 87.6%（ProWAM-Base） |

| RoboTwin | 随机化场景 | **75.7%** | 55.7%（MV-WAM） |

| RoboCasa365 | 综合成功率 | 48.1% | 58.1%（Paimon-0，排名第一） |

| RoboCasa365 | 未见过组合任务 | 18.2% | 36.7%（Paimon-0） |

值得一提的是RoboCasa365

RoboCasa365*：一个大规模的厨房场景机器人操控基准，包含365种日常任务，考察模型应对长程复合任务的能力。

这个测试里ProWAM排在第四，没拿到第一,但在Composite-Unseen（完全没见过的任务组合）这一项上表现突出，远超大多数早期的世界模型基线方法。这说明进度式子目标预测这个思路在面对长程、复杂、未知组合的任务时确实有独特优势，尽管离榜首还有距离。

**真实世界里的考验**

仿真测试固然重要,但机器人最终是要在真实世界里干活的。论文团队用DROID

DROID*：一个大规模真实机器人操控数据集，常用来做跨场景、跨任务的泛化能力训练和测试。

数据集训练了模型，然后直接拿到全新的、模型完全没见过的真实场景里测试，不做任何针对性微调。这种测试方式叫零样本部署，难度相当高，相当于让一个只在模拟器里练过车的新手司机，直接上真实的陌生路段开车。

测试结果是,ProWAM在4个真实世界任务（放香蕉进盒子、叠碗、把蓝色方块放到红色方块上、把橙子放到苹果右边）里平均成功率达到70.0%，比参照的DreamZero方法高出15个百分点，相对提升27.3%。特别是在"橙子放到苹果右边"这个需要精确空间判断的任务上，ProWAM拿到了100%的成功率。

有意思的是，论文还专门分析了一个失败案例。在"叠方块"任务里，成功的那次执行中，模型生成的子目标画面显示两个方块边界清晰、位置居中；而失败的那次，子目标图像里两个方块的轮廓是模糊叠在一起的，机械臂随后就真的把方块放偏了，没对齐掉了下来。这个细节挺耐人寻味：模型对纹理细节的模糊并不敏感,真正要命的是几何位置关系判断错了。这提示了一个方向，子目标生成的质量评估，或许不该只看画面好不好看,而要看关键的空间几何信息有没有传达准确。

**几个关键设计选择的消融实验**

论文还做了一些细致的对比实验,回答了几个很实际的问题。

第一个问题是：子目标数量设多少合适？实验测试了k从1到4的情况，发现k=4时OOD成功率最高，达到75.7%，但即便k=1,性能也有73.8%,远超同等计算成本下的FastWAM（6.3%）。更关键的是,由于所有子目标都在一次缓存的前向计算里生成,从k=1提升到k=4,计算量只多了3.5 TFLOPs，几乎可以忽略。

第二个问题是：子目标应该设定在"近处"还是"远处"？论文对比了三种进度区间：远距离（0.5到0.9）、中距离（0.3到0.7）、近距离（0.1到0.5）。结果是近距离设定的OOD表现最好，达到75.7%，比远距离的68.4%高出7.3个百分点。这个结果印证了一个直觉：离当前位置越近的目标，指导意义越明确，模型越容易照着走；而太远的目标虽然提供了方向，但中间这段缺乏引导的路还是容易走偏。

这跟健身教练给你设定目标很像。如果教练只说"半年后你要瘦20斤"，这个目标太远，你中间很容易放弃或者走偏方向；但如果教练把它拆成每周减0.8斤的小目标，你每周都能看到明确的参照点，调整起来就容易得多。

Q&A

Q1：ProWAM是什么？

A：ProWAM是一种名为进展式世界动作模型的机器人控制技术，它让机器人在执行动作前，先生成一串按任务完成进度排序的稀疏视觉子目标画面，用这些关键帧作为路标来指导具体动作的生成，而不需要生成完整的密集视频。

Q2：ProWAM和之前的世界动作模型相比有什么优势？

A：之前的方法要么生成完整密集视频（计算量大、延迟高），要么完全不预测视觉画面（缺乏路径指导）。ProWAM通过稀疏子目标加缓存机制，既保留了视觉引导又大幅降低计算成本，在随机化场景测试中成功率能比最强基线高出20个百分点以上。

Q3：ProWAM在真实机器人上的表现怎么样？

A：在没有针对性微调的零样本真实世界测试中，ProWAM在放置物体、叠碗等4个任务上平均成功率达到70%，比对比的DreamZero方法高出15个百分点，尤其在需要精确空间判断的任务上表现突出。