一个机器人世界模型，凭什么又能预测未来又能当大脑

你有没有想过一个问题：如果你买了一台机器人，想让它学会叠衣服，它需要知道什么？

大多数人的第一反应是，它需要会动手，会抓、会放、会转腕子。但真正有经验的机器人研究者会告诉你，光会动手不够。它还得知道，如果我这样动手，接下来会发生什么。衣服会不会滑下去，手会不会碰到桌角，叠好的角会不会歪。

这其实是两件事。一件是预测世界怎么变化，一件是决定自己该怎么做。过去很长一段时间，这两件事是分开训练、分开评价的。搞世界模型的人只管预测得准不准，搞策略的人只管机器人任务做得成不成。这篇来自Sber机器人中心的论文，名字叫GreenWAM，提出了一个挺大胆的问题：能不能用同一个模型，同时干这两件事,而且这个模型要能装进20种长得完全不一样的机器人身体里？

答案是能，但要解决一个听起来很琐碎、实际上卡住了整个行业的麻烦事：不同机器人的"身体语言"互相不通。

机器人世界的巴别塔

你可能觉得奇怪,机器人不就是关节加电机吗，能有多大差异。但现实是，每家机器人厂商记录动作的方式完全不同。

有的记关节角度，有的记末端执行器的空间坐标，有的记夹爪开合的百分比，有的记每根手指的弯曲角度。同样是"左手肘往上抬"这个动作，在A机器人的数据里可能是第4个数字变大，在B机器人的数据里可能是第11个数字变小。

世界基础模型*：一类通过海量视频学习"世界如何演变"的AI模型，能预测场景在物理规律下接下来会变成什么样子。

当研究者想用一个模型控制多种机器人时，他们通常的做法是给每种机器人的每类身体部位单独配一套"翻译器"，这篇论文管它叫动作投影。英伟达之前发布的Cosmos 3 Edge就是这么做的，它学了六种机器人的动作，但其中81%的数据来自同一个数据集AgiBot World，动作被简化成末端执行器的位移加上一个夹爪开合的数值。

这就像你去了六个说方言的村子，但其中一个村子人特别多，你学的话大部分其实是那个村子的方言，换一个村子基本听不懂了。而且你学的内容还被压缩成了"大概往哪挪一挪，手张开还是合上"这种粗糙描述,手指具体怎么弯曲，这套系统根本说不出来。

GreenWAM的做法是先建一套通用的解剖学坐标系,不管来的是哪种机器人,先把它的关节动作翻译成一套共享的79个"槽位"，腿部12个，身体23个（基座姿态、躯干、头部），手臂18个，手部26个（夹爪开合加上每根手指）。

共享解剖学动作空间*：一套包含79个固定槽位的通用坐标系统，无论是人形机器人的手指关节，还是机械臂的夹爪开合，都被统一映射到相同含义的槽位里，比如"右手肘"永远对应第47号槽位。

这里的关键设计是，每个机器人有一个专属的编解码器负责把它自己的原始关节数据，选取、重排、调整符号和零点，塞进这79个槽位里，但塞进去之后，所有机器人共用同一套输入输出投影层，没有一个机器人拥有属于自己的动作参数。

这就好比联合国开会，每个国家派的同声传译员负责把本国语言翻译成英语,但翻译完之后，大家在同一个频道上用英语讨论，没有任何人能用本国语言走后门插话。如果不这样做会怎样？你会得到20套互相独立的翻译系统，一个机器人学到的叠衣服经验，完全没法迁移给另一个机器人，因为它们说的根本不是同一种语言。

论文里还提到一个细节，这套系统覆盖了20个机器人家族，里面占比最大的单一家族也只占15%的训练小时数，而Cosmos 3 Edge里最大的单一数据源占了81%。这个对比挺说明问题的,如果你的训练数据被一个"方言村"主导，模型学到的所谓"通用能力"其实是披着外衣的偏科。

一个大脑，七种思考模式

光有统一的语言还不够，模型还得知道该怎么用这些数据训练。

GreenWAM的做法是让同一套生成器权重同时学七种任务模式。你可以把这想象成一个学生同时准备七门不同但相关的考试：文字生成视频、图片生成视频、带历史记忆的图片生成视频、正向动力学预测（给动作猜画面）、带历史记忆的正向动力学、逆向动力学（给画面猜动作）、以及最核心的世界-动作联合建模。

世界-动作模型（WAM）*：同时预测未来视频画面和机器人动作状态偏移量的联合建模方式，输入当前的观测画面和机器人姿态，输出接下来一小段时间内画面和动作会如何变化。

这七种模式不是平均分配训练资源的。四分之三的训练样本用来学"预测视频"相关的任务，剩下四分之一专门练"根据视频推断动作"和"世界-动作联合预测"。为什么要这样分配？因为如果只练动作预测，模型会变成一个只会机械执行动作但不理解画面的"肌肉记忆型"机器人，一旦场景发生意料之外的变化，它完全不知道发生了什么。而如果混入大量纯视频预测任务，模型就被迫去理解"手伸过去，杯子会被碰倒"这种因果关系,这恰恰是后面很多实验结果的关键伏笔。

这里有个很值得琢磨的发现。论文的控制实验显示，训练策略时如果保留一部分视觉预测任务（哪怕只占5%的训练样本），而不是完全只练动作预测,在干净场景下的任务成功率几乎没有变化，但在场景被随机打乱（背景换了、灯光变了、桌子高度变了）的测试里，成功率直接提升了8个百分点。

这就像让一个厨师只背菜谱和光看菜谱做菜的区别。只练动作预测的模型，相当于死记硬背"第三步往左转15度"，场景一变就懵了。而保留视觉预测能力的模型，相当于厨师真的理解了"炒菜时火太大油会溅",场景变了，它依然知道该怎么调整，因为它对世界运作的逻辑有理解，不只是记住了动作序列。

论文进一步做了个很有意思的验证：直接把策略自己预测的画面解码出来看看，它到底在"想象"什么。结果发现，在场景干净、没见过变化的情况下，即便任务最终失败了，模型的想象画面和实际执行结果惊人地一致,它清楚地知道积木会堆错顺序，只是依然选错了动作。但在场景被随机改变后，13个失败案例里有13个是因为模型的想象本身就偏离了现实，它可能把一个干扰物当成了目标去抓，而且它想象中抓的也确实是那个干扰物。

这揭示了一个挺反直觉的结论:机器人出错，有时候不是因为"手笨"，而是因为"看错了"。这也正好解释了为什么保留视觉预测任务能在随机场景下带来明显提升,因为训练信号恰好打在了错误真正发生的地方。

从一个大脑，长出两种身手

光有一个统一的大脑还不够，怎么从这个大脑里"长出"一个能实际干活的策略，也是个技术活。

论文的做法是把动作相关的处理部分从生成器里"分裂"出来，单独组成一个动作专家网络，但这个专家在刚分裂出来的那一刻，是生成器的完整复制品，参数一模一样。之后在后续训练中，这两套网络各自独立演化，但在每一层都通过共享的注意力机制互相交流信息。

动作专家*：在策略适配阶段从生成器中复制出来、专门处理动作预测的独立网络模块，初始时与生成器完全相同，之后在训练中逐渐与视频生成部分产生差异。

为什么要这样设计，而不是从一开始就用两个独立初始化的网络，或者干脆让动作和视频共用同一套参数？

实验给出了答案。用同样的训练预算，从GreenWAM出发训练出的策略，比从没有做过机器人专项训练的Cosmos 3 Edge出发训练的策略，在RoboTwin基准上的平均成功率高出5.4个百分点，加上动作专家这个设计后，差距扩大到8.4个百分点。而且这个优势从训练刚开始就出现了，训练500步之后差距还不到1%，到3000步时已经拉开到5.4%,说明这不是训练到后期才体现出来的玄学优势，而是初始化方式本身自带的红利。

打个比方，这就像两个实习生去同一家餐厅学做菜。一个实习生之前在各种不同风格的餐厅都打过杂，另一个实习生之前只在一家连锁快餐店工作过。即便两人现在接受同样的培训时长，前者上手更快，因为他脑子里已经有了"厨房通用逻辑"的底子，只需要针对这家餐厅微调。如果让两人从零开始各自瞎摸索（也就是不做这种复制继承，而是随机初始化动作专家），你会发现验证集上的损失函数数值其实差不多,但实际操作时的成功率差距依然存在，这说明损失函数这种数字指标，并不能完全反映策略在真实环境里"手是不是稳"。

一个模型，两种角色的互相成就

这篇论文最值得玩味的地方，其实是它反复在验证一件事:把世界模型做好，和把策略做好，这两件事不是互相独立的，而是会互相成就。

论文设计了三组对照实验来验证这件事。第一组对比"机器人专项训练"带来的影响，也就是用GreenWAM而不是用它的"父模型"Cosmos 3 Edge去做后续适配。结果显示，无论是当作世界模型还是当作策略，专项训练过的版本都表现更好。作为世界模型时，它在WorldArena基准上生成的第一段画面峰值信噪比提高了1.1分贝，轨迹准确度从44.4提升到47.4。作为策略时，它预测的画面和真实执行结果更接近，成功率也相应更高。

峰值信噪比（PSNR）*：衡量生成图像与真实图像差异程度的技术指标，数值越高表示生成结果越接近真实情况，常用单位是分贝。

第二组实验专门测试"保留世界模型模式"这件事，前面已经提到过，在随机场景下成功率提升8个百分点。第三组测试动作专家的拆分设计，前面也提到了3.3个百分点的提升。

这三组实验放在一起看，其实在讲一个共同的道理:一个模型如果只盯着最终要完成的那个具体任务去优化，往往会在没见过的情况下变得很脆弱。而如果它始终保留着"理解世界怎么运作"这个更底层的能力，哪怕只分配很少一部分训练资源给它，反而能让最终任务的表现更稳健。

这让我想起学开车这件事。一个只在固定路线上练过倒车入库的人，换个停车场可能就懵了。而一个真正理解车身转向原理、轮胎摩擦力如何作用的人，换到任何陌生场地，都能现场推理出该怎么打方向盘。GreenWAM的设计，某种程度上就是在逼着机器人策略去"理解原理"，而不只是"背熟套路"。

拿到真实世界里的成绩单

说了这么多设计思路，实际效果到底怎么样？

论文给出了相当扎实的一组数字。作为世界模型，在WorldArena 1.0这个公开基准上，GreenWAM在轨迹准确度（56.0分）、深度准确度（98.2分）和三维准确度（93.4分）三项上都拿到了对比模型里的最高分，超过了Motubrain和FlowWAM-FiveAges这些专门做世界-动作建模的竞品。而且在考虑了运动量作弊上限的综合评分EWMScore上，它拿到63.31分，高于两个主要竞品的63.16和62.99。

这里有个细节值得多说一句。WorldArena的评分体系里有几个指标专门衡量画面的"动态程度"，但研究者发现，很多参赛模型为了在这几项上刷高分，故意让生成的视频动得比真实记录的还要夸张，有的甚至动了四到八倍。这就像考试作文明明要求800字，有人硬写了3000字来显得"内容丰富"，但其实跑题了。WorldArena后来专门加了个"运动量封顶"规则，GreenWAM因为生成的动作本来就没有超标，几乎不受这个规则影响，分数只掉了0.05分，而排名靠前的模型分数普遍要掉6到11分。

作为策略，在RoboTwin 2.0这个50任务的双臂机器人基准上，GreenWAM拿到干净场景87%、随机场景48.1%的成功率，平均67.54%，排在公开排行榜前列。在CALVIN基准上（测试机器人能否连续完成一串语言指令而不中断），它平均能完成4.64条指令，高于FLOWER的4.53。在LIBERO-plus这个专门测试鲁棒性的基准上（把摄像头角度、桌子背景、光照这些都随机扰动），GreenWAM拿到86.8%的零样本成功率，是对比方法里最高的。

更有说服力的是真机测试。研究者把GreenWAM适配到一台叫做"Green"的真实人形机器人上，让它完成"把瓶子和瓶盖装进袋子再提起来"这种打包任务。在没见过的场景配置下，GreenWAM的指令完成率达到84%，高于从Cosmos 3 Edge适配的策略（80%）和从π0.5适配的策略（76%）。

为了让这套系统真正能跑在机器人自带的计算单元上而不是昂贵的显卡上，研究者还做了一轮蒸馏，把原本需要多步去噪采样的过程压缩成一步完成。蒸馏后的策略推理速度达到每秒28.3次调用，比未优化版本快了12.3倍，而且在真机测试里依然保持了对π0.5的优势。

蒸馏*：把一个计算量大、推理慢的"老师模型"的能力，教给一个结构更简单、推理更快的"学生模型"的训练方法，目标是在尽量不损失效果的前提下大幅提速。

这组数字背后其实藏着一个工程哲学:好的研究不仅要证明"能做到"，还得证明"能快速做到"，否则再聪明的大脑，装进机器人身体里也会因为反应迟钝而没法用。

写在后面

读这篇论文时，最让我停下来想了很久的，是那组"机器人想象力"的实验。

研究者让策略一边执行动作，一边把自己内部预测的画面解码出来，和实际发生的画面做对比。结果发现，在熟悉场景下失败的案例里，模型其实"看懂了"自己会搞砸,它预测积木会堆错顺序，而积木也确实堆错了顺序。它只是选错了动作，但对后果的预判是准的。

这件事挺颠覆我原来对"机器人犯错"的想象的。我一直以为机器人出错大多是因为"没看清楚"或者"算错了该往哪动"，但这个实验说明，至少有一部分错误，是机器人明明知道自己会搞砸，却依然执行了错误的动作。这听起来有点像人类的某些行为,明知道熬夜刷手机第二天会很困，还是忍不住刷了。知道后果和能够据此纠正行为，中间隔着一条不小的鸿沟。

另一个让我觉得有意思的细节是那个"重新分配训练数据配额"的表格。Worker/ARX5这个机器人家族在所有数据里只占4.8%的小时数，但研究者故意把它的采样权重提到12%,因为它是论文的两个重点部署目标之一。这意味着这套系统的"公平性"其实是人为设计出来的偏向，不是数据量的自然结果。这提醒我，所谓的"通用模型"，往往藏着研究者对哪些场景更重要的价值判断，这种判断本身值得被看见，而不是被"通用"两个字掩盖掉。

论文最后也坦率承认了局限,策略对任务几何形状的变化依然敏感，比如桌子高度变了3厘米，成功率会明显下降，因为他们用的那些让画面更丰富多样的增强手段，只改变了观测画面本身，并没有真正让机器人见过"桌子变高之后手臂该怎么调整轨迹"这种新的运动模式。这个坦诚的局限说明，让机器人真正具备应对物理世界变化的能力，恐怕还有很长的路要走。

如果一个机器人能准确预知自己的动作会搞砸，却依然执行了那个错误的动作，这到底是感知的问题，还是决策的问题？又或者，这两者本来就没法真正分开？

Q&A

Q1：GreenWAM是什么？

A：GreenWAM是Sber机器人中心提出的机器人世界基础模型，它基于Cosmos 3 Edge改造而来，通过一套共享的79槽位解剖学动作空间，统一描述了20种不同机器人家族的身体结构，既能预测场景如何随动作变化，又能直接驱动机器人完成实际任务。

Q2：GreenWAM和之前的Cosmos 3 Edge相比有什么不同？

A：Cosmos 3 Edge只学了6种机器人，其中81%数据来自单一数据集，动作被简化成末端执行器位移加夹爪开合。GreenWAM覆盖20个机器人家族，最大单一家族占比仅15%，并用统一关节坐标取代了粗糙的末端执行器投影，还能表达手指等精细关节动作。

Q3：GreenWAM在真实机器人上表现如何？

A：在真实人形机器人Green上完成打包任务时，GreenWAM在没见过的场景配置下指令完成率达84%，高于从Cosmos 3 Edge适配的策略（80%）和从π0.5适配的策略（76%），蒸馏后的加速版本在保持优势的同时推理速度提升了12.3倍。