华为等团队揭秘：机器人"预知未来"比"见多识广"更可靠？

这项由华为技术有限公司联合多伦多大学共同完成的研究发表于2026年的arXiv预印本平台，论文编号为arXiv:2603.22078v2。有兴趣深入了解的读者可以通过该编号查询完整论文内容。

在机器人技术飞速发展的今天，如何让机器人在复杂多变的真实环境中稳定工作，一直是科学家们面临的重大挑战。就像人类在陌生环境中需要依靠经验和预判能力一样，机器人也需要某种"智慧"来应对各种突发状况。目前主流的机器人控制方案主要分为两大流派：一种是让机器人"博览群书"，通过大量的视觉和语言数据训练获得广泛知识；另一种则是让机器人学会"预知未来"，通过观看大量视频来理解世界如何运转变化。

华为技术团队的这项研究就像是在两种不同教育方式之间进行了一场全面对比。第一种方式可以比作让学生通过阅读百科全书来学习世界知识，这就是所谓的视觉-语言-行动模型（VLA）。第二种方式则像是让学生通过观看大量纪录片来理解事物发展规律，这就是世界行动模型（WAM）。研究团队想要回答一个关键问题：当机器人面对从未遇到过的环境变化时，哪种学习方式能让它表现得更加稳定可靠？

一、两种"教育方式"的根本差异

要理解这两种方法的区别，可以用培养一个厨师的过程来类比。传统的视觉-语言-行动模型就像是让厨师通过阅读大量菜谱和食材介绍来学习烹饪。这种方法让机器人能够理解"番茄是红色的"、"刀具用来切割"这样的静态知识，并且能够根据语言指令执行相应动作。就像一个读过很多菜谱的厨师，能够按照食谱一步步制作出美味佳肴。

而世界行动模型则采用了完全不同的学习策略，它更像是让厨师通过观看无数个烹饪视频来学习。在这些视频中，厨师能够看到油温如何影响食材变化、调料添加后食物颜色如何改变、火候控制如何影响最终口感等动态过程。这种学习方式让机器人不仅知道"应该怎么做"，更重要的是理解"这样做之后会发生什么"。

研究团队发现，这种差异带来了截然不同的学习需求。视觉-语言-行动模型需要在训练过程中接触大量多样化的数据，包括不同的机器人操作视频、各种环境下的任务演示，甚至还需要网络上的图片和文本数据来建立广泛的世界知识。这就像培养一个全才厨师，需要让他了解各国菜系、不同食材特性、营养搭配原理等方方面面的知识。

相比之下，世界行动模型的训练过程要简洁得多。由于这类模型的"大脑"已经通过观看海量视频学会了理解世界动态变化的规律，在针对具体机器人任务进行训练时，只需要相对较少的演示数据就能快速掌握操作技能。这就像一个已经通过观看大量烹饪节目掌握了食材变化规律的人，学习新菜谱时会比完全的新手快得多。

二、设计严苛测试检验真实能力

为了公平比较这两种方法的优劣，研究团队设计了一套极其严格的测试方案，就像是为机器人安排了一场"全方位压力测试"。他们不仅使用了现有的LIBERO-Plus基准测试，还专门开发了一个全新的RoboTwin 2.0-Plus测试平台。

这个测试平台的设计理念很有意思，它模拟了机器人在真实世界中可能遇到的各种"意外情况"。研究团队识别出了七个主要的干扰类型，每一种都代表着现实世界中常见的变化因素。

摄像头视角的变化是最直观的一种干扰。就像你平时在家里从某个角度看客厅，突然换到另一个位置，整个房间的布局看起来就完全不同了。机器人也面临同样的挑战，当摄像头位置、角度或距离发生变化时，原本熟悉的环境可能变得"面目全非"。

机器人自身状态的变化则更加复杂。研究团队会随机调整机器人关节的初始位置，或者改变机械手的开合状态。这就像是让一个习惯了右手写字的人突然改用左手，需要重新适应全新的操作感受。

语言指令的变化考验的是机器人的理解能力。同样是"按响铃铛"这个任务，测试中可能会改成"按下服务铃"或者"让铃铛发出声音"。这种变化看似简单，但对机器人的语言理解和任务泛化能力提出了很高要求。

光照条件的变化可能是最接近真实世界的挑战。研究团队会改变灯光的颜色、亮度、方向和阴影效果，模拟从清晨到深夜、从室内到室外的各种光照环境。就像人类在不同光照条件下识别物体的能力一样，机器人也需要适应这些变化。

背景环境的改变则测试机器人的抗干扰能力。研究团队会更换桌面材质、改变墙壁颜色，甚至添加各种纹理和图案。这就像是让机器人在完全陌生的房间里执行熟悉的任务，看它是否还能保持稳定的表现。

图像噪声的添加更是对机器人视觉系统的严峻考验。研究团队会在机器人的视觉输入中添加运动模糊、高斯模糊、缩放模糊、雾化效果和玻璃模糊等五种不同类型的噪声。这就像是让机器人在雾天、雨天或者透过毛玻璃观察世界一样困难。

最后，物体布局的变化则考验机器人在杂乱环境中的工作能力。研究团队会在工作台上随机添加3到15个无关物体，并且轻微移动目标物体的位置和方向。这模拟了真实世界中环境总是不够整洁、物品位置经常发生微调的情况。

三、令人意外的测试结果

当所有测试完成后，结果让研究团队感到既惊喜又深思。在RoboTwin 2.0-Plus这个专门针对双臂协作机器人设计的测试平台上，世界行动模型展现出了显著的优势。以LingBot-VA为代表的世界行动模型在原始任务中就达到了92.1%的成功率，而在面对各种干扰时，总体成功率仍然保持在74.2%的高水平。

相比之下，经过精心设计和大量数据训练的π0.5模型虽然在某些单项测试中表现不俗，但总体稳定性明显不如世界行动模型，综合成功率为58.6%。更有趣的是，一些混合方法，比如MOTUS模型，它既使用了视频生成技术，又保留了传统的视觉-语言处理模块，其表现恰好介于两者之间，达到了71.5%的成功率。

在LIBERO-Plus这个针对单臂机器人的测试平台上，结果同样支持了研究团队的发现。Cosmos-Policy这个世界行动模型在原始任务中达到了惊人的98.5%成功率，即使在各种干扰条件下，仍然保持了82.2%的优异表现。令人惊讶的是，传统方法中表现最好的π0.5模型在这个平台上反而取得了85.7%的最高综合成绩，甚至超过了一些世界行动模型。

这种看似矛盾的结果实际上揭示了一个重要现象：不同的机器人平台和任务类型对这两种方法的敏感度是不同的。双臂协作任务由于其复杂性，更能体现出世界行动模型在理解动态交互方面的优势。而单臂任务虽然相对简单，但如果训练数据足够丰富多样，传统方法仍然能够取得优异成绩。

四、不同干扰类型下的表现差异

深入分析具体的测试结果，研究团队发现了一个非常有趣的规律：世界行动模型在面对视觉类干扰时表现格外出色，而对几何配置变化的适应能力相对较弱。

在光照变化测试中，LingBot-VA保持了89.0%的高成功率，而π0.5则下降到49.6%。这种差异的根源在于两种模型的学习机制不同。世界行动模型通过观看大量视频，见识过各种光照条件下物体的变化过程，就像一个经验丰富的摄影师，无论在什么光线下都能准确判断物体的真实状态。

在图像噪声干扰测试中，这种优势更加明显。当研究团队在机器人的视觉输入中添加各种模糊和噪声效果时，LingBot-VA的成功率仍然保持在80.9%，而π0.5则大幅下降至64.9%。通过对Cosmos-Policy预测结果的可视化分析，研究团队发现了一个令人惊叹的现象：即使输入图像被噪声严重干扰，这个模型预测的未来画面仍然非常清晰准确，就像具备了某种"去噪"能力。

物体布局变化的测试同样展现了世界行动模型的优势。当工作台上出现大量干扰物体时，LingBot-VA的成功率保持在87.9%，而π0.5则降至56.8%。这说明通过视频学习获得的空间理解能力帮助机器人更好地在杂乱环境中锁定目标物体。

然而，当测试涉及摄像头视角变化时，情况变得复杂起来。LingBot-VA的成功率降至28.9%，甚至低于π0.5的45.6%。这个结果提醒我们，虽然世界行动模型在理解动态变化方面有优势，但对于几何空间关系的泛化能力仍有提升空间。

机器人初始状态变化的测试结果更加发人深省。LingBot-VA在这种干扰下的成功率降至36.2%，而π0.5为27.6%。这说明当机器人自身的物理配置发生变化时，两种方法都面临挑战，但世界行动模型略胜一筹。

五、性能优势背后的代价

虽然世界行动模型在稳定性测试中表现优异，但研究团队也发现了一个不容忽视的问题：计算效率。这就像是拥有了一辆性能卓越的超级跑车，但油耗也相当惊人。

在推理速度测试中，最快的传统模型π0.5每次决策只需要63毫秒，而最慢的世界行动模型LingBot-VA在某些配置下需要5.23秒，相差超过80倍。这种巨大的速度差异主要来源于视频生成过程的复杂性。

世界行动模型需要先预测未来的视觉状态，然后基于这个预测来生成动作指令。这个过程就像是让机器人先在脑海中"演练"一遍动作，然后再执行，虽然能够获得更好的效果，但时间成本也大大增加。

具体来说，影响计算速度的关键因素是"去噪步数"。在视频生成过程中，模型需要通过多次迭代逐步从噪声中恢复出清晰的未来画面，就像是用橡皮擦一点点擦除草稿中的错误线条。去噪步数越多，预测结果越准确，但所需时间也越长。

例如，GE-Act模型通过将视觉预测的去噪步数设置为1，将动作预测的去噪步数设置为10，实现了相对较快的推理速度（300毫秒），但仍然比π0.5慢近5倍。而LingBot-VA为了获得最佳效果，在RoboTwin 2.0测试中使用了25步视觉去噪和50步动作去噪，导致了极慢的推理速度。

为了解决这个问题，一些研究团队开始探索新的优化策略。Fast-WAM和GigaWorld-Policy等新方法尝试在测试时跳过视频生成过程，直接预测动作，将推理时间分别减少到190毫秒和360毫秒。虽然仍然比传统方法慢，但已经有了显著改善。

这种性能与速度之间的权衡反映了当前技术发展的现状：我们可以选择追求最高的任务成功率，但需要接受较长的响应时间；或者选择更快的响应速度，但可能需要在某些复杂场景下妥协性能。

六、混合方法的启示

在这次大规模对比研究中，最有启发性的发现之一是混合方法的表现。这些方法就像是在两种教育理念之间寻找平衡点，既不完全依赖"博览群书"，也不纯粹追求"预知未来"，而是将两者的优势巧妙结合。

MOTUS模型采用了一种特别有趣的设计思路。它使用预训练的视频生成模型来理解动态变化，同时保留独立的视觉-语言模块来处理动作生成。这种设计就像是让一个厨师既通过观看烹饪节目学习食材变化规律，又通过阅读菜谱掌握具体的操作步骤。结果显示，MOTUS在机器人初始状态变化测试中表现最佳，成功率达到85.0%，甚至超过了纯粹的世界行动模型。

VLA-JEPA则采用了另一种混合策略。它在传统的视觉-语言模型基础上，添加了通过人类视频学习得到的未来状态预测能力。这就像是给一个通过阅读学习的学生补充了一些实际观察经验。虽然这种预测能力不如专门的视频生成模型那么强大，但仍然为模型带来了显著的稳定性提升，在LIBERO-Plus测试中取得了77.9%的综合成功率。

这些混合方法的成功表明，将动态理解能力引入机器人控制系统的方式是多样的，不一定需要完全采用世界行动模型的架构。关键在于如何恰当地结合两种学习机制的优势，避免各自的劣势。

更重要的是，混合方法的表现验证了研究团队的一个重要推测：让机器人具备预测能力确实能够提升其稳定性，但这种预测能力的获得方式可以是灵活的。可以通过专门的视频生成模型来获得，也可以通过在传统方法中引入预测任务来实现。

七、对未来发展的思考

这项研究的意义远远超出了技术层面的比较，它为整个机器人领域的发展方向提供了重要启示。就像GPS导航技术的出现改变了人们的出行方式一样，世界行动模型可能代表着机器人智能发展的一个重要转折点。

从数据需求的角度来看，世界行动模型展现出了一种更加高效的学习模式。传统的视觉-语言-行动模型需要大量精心标注的机器人操作数据，而且这些数据通常需要涵盖各种不同的环境和条件。这就像是培养一个全科医生，需要让他在各个科室都实习一遍。

相比之下，世界行动模型的"大脑"已经通过互联网上的海量视频掌握了基本的物理规律和动态变化模式，在转向具体的机器人任务时，只需要相对较少的演示数据就能快速适应。这种学习模式更接近人类的学习方式：我们不需要亲身体验每一种可能的情况，而是通过观察和理解一般规律来应对新的挑战。

但是，研究也揭示了当前技术的局限性。计算效率问题仍然是制约世界行动模型实际应用的主要障碍。在需要快速响应的场景中，比如自动驾驶或者工业生产线，几秒钟的决策延迟可能是不可接受的。

更深层的问题在于，当前的世界行动模型对几何空间关系的理解仍然不够深入。当机器人需要从不同角度观察同一个场景，或者适应不同的物理配置时，这些模型的表现还有很大提升空间。这提醒我们，真正的机器人智能不仅需要理解动态变化，还需要具备强大的空间推理能力。

从更宏观的角度来看，这项研究预示着机器人技术正在向更加智能化的方向发展。未来的机器人可能不再是简单的指令执行者，而是具备预测和规划能力的智能体。它们能够在执行任务之前就预见可能的结果，并据此调整自己的行为策略。

说到底，这项研究告诉我们一个重要道理：在人工智能的世界里，"预知未来"的能力可能比"博学多闻"更加重要。当机器人能够理解行动的后果，预测环境的变化时，它们就能在复杂多变的真实世界中表现得更加稳定可靠。这不仅仅是技术上的进步，更可能是机器人从"工具"向"伙伴"转变的关键一步。当然，这个转变过程中还有很多技术挑战需要解决，比如如何提高计算效率、如何增强空间理解能力等。但毫无疑问，这个方向代表着机器人技术发展的一个重要趋势，值得我们持续关注和深入研究。

Q&A

Q1：什么是世界行动模型WAM？

A：世界行动模型是一种新的机器人控制方法，它通过观看大量视频来学习世界如何运转变化，能够预测自己的行动会带来什么结果。就像让机器人先在脑海中"预演"一遍动作，然后再实际执行，这样能让机器人在面对新环境时表现更稳定。

Q2：世界行动模型比传统视觉语言行动模型VLA强在哪里？

A：世界行动模型在应对环境变化时更稳定可靠。当光照条件改变、出现图像噪声或环境变得杂乱时，世界行动模型的成功率能保持在80-90%，而传统方法可能下降到50-60%。这是因为它通过视频学习掌握了物体变化的规律，就像经验丰富的师傅能在各种条件下都保持稳定发挥。

Q3：世界行动模型有什么缺点吗？

A：最大的缺点是速度太慢。传统方法做决策只需要63毫秒，而世界行动模型可能需要几秒钟，因为它需要先预测未来画面再生成动作。另外，当摄像头角度发生变化或机器人初始姿态改变时，世界行动模型的适应能力也不如预期，这说明它对空间几何关系的理解还有待提升。