上交大团队打造机器人"最强大脑"：让机器人同时学会看、想和动

这项由上海交通大学、上海人工智能实验室、华中科技大学、华南理工大学、华东理工大学、上海大学以及南京邮电大学联合完成的研究，以预印本形式发布于2026年6月5日，论文编号为arXiv:2606.05979，感兴趣的读者可通过该编号在arXiv平台检索完整论文。

一、机器人为什么总是"手笨脑慢"？

你有没有见过那种让人哭笑不得的机器人视频——它在货架前伸手去抓瓶子，结果连续戳了好几下都没抓到，或者在完成一个步骤后就呆立在原地，不知道接下来该做什么？这不是段子，这是当下工业和家用机器人普遍面临的真实困境。

问题出在哪里？打个比方，现有的机器人系统就像一个厨师，他要么只练习了刀工，对食谱一窍不通；要么背熟了食谱，但手上的功夫又跟不上。更要命的是，他做菜时只盯着当下这一刀，根本没有在脑子里预演"下一步我应该把食材往哪里翻"。这种割裂导致机器人在面对复杂的、需要多个步骤的任务时，往往顾此失彼。

研究界为解决这个问题，走出了两条截然不同的路。一条是"语言-视觉-动作模型"（简称VLA）的路，让机器人读懂人类指令、看懂周围环境，然后做出动作——这条路的机器人"能说会道"，擅长理解复杂指令，但它缺乏对物理世界的深刻感知，不太清楚自己的动作会引发什么样的物理变化。另一条是"世界-动作模型"（简称WAM）的路，让机器人像看电影一样，先在脑子里"播放"接下来世界会变成什么样子，再据此行动——这条路的机器人对物理规律有比较深刻的直觉，但它基本不会"思考"，无法处理需要多步骤推理的复杂任务。

上交大领衔的这支团队决定把两条路并成一条，提出了他们称之为"世界-语言-动作模型"的新框架，英文简称WLA。他们的核心主张是：机器人在"下一步会发生什么"这个问题上，必须同时从两个层面给出答案——在语言层面，说清楚下一步要干什么；在物理层面，预演出下一步世界的样子会有什么变化。把这两层答案结合起来，再指导机器人的实际动作，效果就会大幅提升。他们把这套框架的第一个实现版本称为WLA-0。

二、新框架的"三位一体"：会读书、能预见、善动手

要理解WLA框架，可以把它想象成一个经验丰富的外科医生助手。这位助手在手术前要做三件事：第一，通读手术方案，明白整台手术的目标是什么，当前应该进行哪个步骤；第二，在脑海里预演手术刀划下去之后，伤口会呈现出什么状态；第三，结合前两点，精准地将手术器械递到主刀医生手边。WLA框架里的三个核心组件，恰好对应这三项能力。

第一个组件是"自回归Transformer骨干网络"，这是整个框架的大脑。"自回归"的意思是它像写文章一样，一个词接着一个词地生成内容，每生成一个词都会参考前面所有已经写好的内容。这个大脑负责接收图像、文字指令和机器人自身的状态信息，然后产出两样东西：一是"文字意图"，也就是用自然语言描述出接下来机器人应该完成的子任务是什么；二是"物理动态"，这是一种更抽象的信号，描述的是状态将要如何变化，但并不直接是一张图片。

第二个组件叫"世界专家"，专门负责"预见未来"。它接收大脑产出的"物理动态"信号以及当前的场景图像，然后生成一张预测图：n个步骤之后，这个场景会变成什么样。你可以把它理解成一个特别擅长"脑补"的人，给他一个初始画面和一个描述变化趋势的信号，他就能画出变化后的样子。研究团队特意选择了一个叫SANA-600M的轻量级图像生成模型来充当这个世界专家，这样速度快、计算量也不大。

第三个组件叫"动作专家"，它的任务是把大脑产出的"物理动态"信号以及机器人当前的关节状态转化为实实在在的控制指令，也就是告诉机器人的每一条手臂"你接下来的每一帧应该摆成什么角度、移动到哪个位置"。

三个组件一起训练，一起进步。在训练阶段，世界专家的预测图像质量越好，说明物理动态信号越能准确捕捉场景变化的本质；而这个物理动态信号同时也被动作专家使用，于是动作专家自然而然地学会了如何根据"世界将会如何变化"来规划自己的动作。这就好比一个厨师同时在学两件事：既学会在脑子里想象"如果我这样翻炒，锅里的菜会变成什么状态"，又学会根据这个想象来决定下一步怎么挥锅。两者同步学习，互相促进。

三、"元查询"：让预见可以在工作时"隐身"

这里有一个精妙的工程设计值得单独讲清楚，因为它直接决定了WLA能不能在真实环境中快速运行。

在训练阶段，世界专家（那个负责"脑补"未来图像的组件）全程参与，帮助大脑学会产出高质量的物理动态信号，同时帮助动作专家学会利用这个信号。但问题来了：如果在实际部署时，每次要执行动作之前都得先生成一张未来图像，那速度会非常慢，慢到机器人根本无法实时响应环境变化。

研究团队用一种叫"元查询"的设计解决了这个问题。简单说，物理动态信号是通过大脑骨干网络末端附加的一组特殊"占位符"来产生的，这组占位符像海绵一样从大脑前面所有的信息里吸收提炼出"变化的精髓"，然后把这个精髓传给世界专家和动作专家。关键在于：对动作专家来说，它只需要从这个精髓信号里学习就够了，并不需要真正"看到"世界专家生成的那张图。

所以，当训练完成之后，在实际工作时完全可以把世界专家整个"关掉"。动作专家已经通过训练阶段的联合学习，把"如何根据物理动态信号做出好动作"这一能力内化进了自己的参数里。世界专家在这里扮演的角色，有点像训练场上的陪练——训练时不可或缺，比赛时却不必上场。这个设计让WLA-0在一张英伟达RTX 5090显卡上的推理延迟达到了约40毫秒，完全满足实时控制的需求。

四、文字意图：让机器人学会"先想清楚再动手"

对于复杂的长期任务，光有物理动态预测还不够。比如让机器人完成"先把电池正向插入，然后观察表盘，再根据结果决定是否调整方向"这样的任务，机器人必须拥有某种"记忆"和"进度追踪"能力，否则它做完第一步就会忘记自己还要做什么。

WLA的解决方案是让大脑骨干网络直接以自然语言的形式，预测当前时刻对应的子任务是什么。举例来说，对于"整理桌面"这个大任务，机器人在某一时刻会预测"当前子任务：将左侧的书叠放到右侧书架上"；完成后，再预测"当前子任务：将桌面上的笔放回笔筒"。这些语言描述的子任务不仅指导了当下的动作，还被存入一个记忆缓冲区，作为历史上下文供后续时刻参考。

这套机制的好处在于，语言天然就是一种压缩效率极高的表示方式。"把红色的杯子放到蓝色盒子里"这一句话，比任何图像都更简洁地表达了任务的语义内容，而且可以直接被已有的大型语言模型的推理能力所驾驭。研究团队特意用一个叫RynnBrain-2B的预训练视觉语言模型来初始化骨干网络，这样WLA一开始就具备了成熟的语言理解和生成能力，而不是从零学起。

值得一提的是，这套语言意图机制在短期任务上可以选择关闭。在RoboTwin 2.0这个每个任务都相当简短的测试场景中，研究团队就没有启用语言子任务预测，因为短任务不需要这种长期追踪能力，关闭之后模型反而可以把更多算力集中在动作质量上。

五、训练：三个老师同时教一个学生

WLA的整体训练目标由三部分组成，就像一个学生同时接受三位老师的考核。

动作老师负责核心课程：模型产出的动作指令必须足够准确，能把机器人控制到正确的位置和姿态。这部分使用的是一种叫"流匹配"的技术来衡量动作的准确程度，可以把它理解成测量"模型想象的动作轨迹"和"正确动作轨迹"之间的距离，距离越小越好。

世界老师负责物理直觉课：模型产出的物理动态信号必须足够有效，以至于世界专家能用它生成出接近真实的未来图像。这部分也使用流匹配技术，衡量生成图像和真实未来图像之间的距离。

语言老师负责规划课：模型生成的文字子任务描述必须足够准确，与人工标注的正确子任务吻合。这部分使用的是标准的交叉熵损失，也就是语言模型训练中最常见的那种评分标准。

三个损失函数加权相加，其中动作损失权重最高，世界建模损失的权重为0.1，语言损失的权重为0.005。这个设置直接体现了研究团队的优先级判断：动作是最终目标，世界建模和语言是辅助，不能喧宾夺主。

六、推理加速：从116毫秒压到40毫秒的工程奇迹

把世界专家关掉只是加速的第一步，研究团队还采用了三种额外的工程优化手段，把推理延迟从约116毫秒进一步压缩到了约40毫秒以内。

第一种手段是CUDA图捕获。通常计算机在执行神经网络推理时，每一步计算都需要CPU发出指令，GPU接收后再执行，这个来回的"调度开销"积少成多，成为不小的时间损耗。CUDA图的思路是：把一次完整推理的所有步骤预先"录制"成一张固定的执行图，之后每次推理就直接"重播"这张图，完全省掉CPU的逐步调度。对于需要反复进行多步去噪的动作生成头（即动作专家内部的扩散过程）来说，这个优化效果尤为显著。

第二种手段是算子融合。神经网络的计算由很多小的运算步骤组成，每个步骤都要独立占用GPU资源。研究团队用Triton编写了自定义的计算内核，把一些经常连续出现的小步骤"合并"成一个大步骤，减少了中间结果的存取次数和启动开销。在语言模型部分，他们融合了归一化、注意力计算、位置编码等多个操作；在扩散模型部分，他们融合了自适应归一化、注意力、前馈网络等操作。

第三种手段是预计算与缓存。有些计算结果在多次推理之间甚至在同一次推理的多个步骤之间是完全不变的，比如文字指令的向量表示、位置编码的正弦余弦值、图像占位符的索引等。把这些结果预先算好、缓存起来，推理时直接取用，也能省下相当可观的时间。

七、测试时扩展：当计算资源充裕时，让机器人"三思而后行"

WLA还提供了一种"奢侈模式"，用于计算资源比较充裕、不那么追求极致速度的场景。研究团队称之为"测试时扩展"（TTS）。

这个模式的工作方式类似于下棋高手在落子前先在脑子里模拟几条不同的路线，选出最优的那条再落子。具体来说，给定当前场景，系统会通过改变随机种子的方式，生成K个不同的候选动作方案。对于每个候选方案，世界专家会预测出"如果执行这套动作，场景会变成什么样"，生成一张想象中的未来图像。然后，一个额外训练的"价值模型"对这些想象出来的未来图像打分，评估哪种未来看起来更接近任务成功的状态。最终，系统选择得分最高的那套候选动作去实际执行。

价值模型的训练方式也很有意思：研究团队让已经训练好的WLA-0在模拟环境中跑了大量任务，记录下每次任务中各个时间步对应的"想象未来图像"以及最终任务是否成功。成功的任务，靠近结尾的时间步得到较高的价值标签；失败的任务则整体得到低价值标签。价值模型就是从这些数据里学会"看图判断任务是否走在正确轨道上"。

想象范围还可以进一步扩展：将上一步预测出的未来图像作为新的"当前图像"输入进来，再预测下一步的未来图像，如此反复，就能在脑海中"滚动预演"更长的时间跨度，从而在更宏观的视野下选择最优动作。

八、模拟环境中的三场考试：WLA-0表现如何？

研究团队在三个标准评测基准上检验了WLA-0的能力，覆盖了从短期精确操作到长期记忆推理的不同难度层次。

第一个考场是RoboTwin 2.0，这是一个包含50种双臂协同操作任务的综合测试台，难度在于双臂必须协调配合，而且测试时场景会随机变化，要求机器人有足够强的泛化能力。WLA-0在干净场景下取得了92.94%的成功率，在随机扰动场景下也达到了90.02%。对比之下，参数量多达8B的Motus模型（需要预训练）只有88.66%和87.02%，参数量6B的Fast-WAM（同样无需预训练）达到91.88%和91.78%。WLA-0以仅2B的推理参数量、在无需任何机器人数据预训练的条件下，达到了和最强竞争者基本相当甚至略有超越的水平。消融实验（即把世界专家的训练目标去掉，只留动作训练）显示成功率下降到90.98%和89.34%，证明了世界建模对动作质量确实有实质性提升。

第二个考场是LIBERO，这个基准包含空间理解、物体识别、目标导向和长序列操作四个子集，共40个任务，每个任务50条示范数据。WLA-0的平均成功率达到98.6%，超越了所有参与对比的WAM和VLA基线。加上测试时扩展（使用6个候选方案、两步预演范围），平均成功率进一步提升到98.9%。另一个值得关注的细节是，WLA-0仅需3万步训练就已经展现出强劲的性能，训练效率相当突出。研究团队还在LIBERO上比较了"只预测最终帧"和"同时预测中间帧"两种世界建模方式：前者在四个子集上平均达到98.2%，后者却只有94.2%。这说明过度密集的视觉监督信号反而会分散模型对动作学习的注意力，预测单一目标帧的方式更为高效。

第三个考场是RMBench，这是整个评测中最能体现WLA独特价值的一个。RMBench专门测试"记忆依赖型双臂操作"，四个任务都要求机器人在执行过程中记住之前做了什么、尝试了哪些组合、哪些已经失败，并据此推断接下来应该执行哪个子步骤。比如"电池试槽"任务，桌上有两节电池和一个电池槽，把两节电池以不同朝向组合插入会导致表盘指针旋转，机器人需要不断尝试不同组合，直到找到正确的朝向配置；"积木排序试验"任务要求机器人反复重排三个彩色积木并按按钮，直到达到特定排列顺序。

WLA-0在这个基准上取得了56.5%的平均成功率，而排名第二的Mem-0只有28.5%，Fast-WAM仅有13.3%，π0.5和X-VLA分别只有5.5%和7.3%。这个差距几乎是"碾压"级别的。关键在于语言子任务预测的作用：把语言训练目标去掉后，成功率从56.5%暴跌至17.3%。这有力地说明，在需要长期进度追踪的任务中，语言层面的推理和记忆能力是不可或缺的。相比之下，Mem-0依赖一个独立的"子任务切换分类器"来判断何时进入下一步，一旦这个分类器判断失误，整个任务的进度追踪就会出错，导致机器人在错误的时机切换子任务。WLA-0则是在每次行动前都重新从历史记忆中推断当前子任务，相当于每一步都重新核对一次"我现在应该做什么"，稳定性大幅提升。

九、真实世界的四道难题：速度、精度、泛化与动态

模拟环境里的成绩固然重要，但机器人最终要在真实世界工作。研究团队设计了四个真实场景来测试WLA-0，使用的是Agilex Piper双臂机器人平台，每个任务收集60条示范数据，并在三种不同难度下评测：标准场景、使用陌生形状或颜色道具（OOD物体）、使用陌生背景或混乱环境（OOD场景）。

四个任务各有侧重。拧开瓶盖和打包物品考验的是精细操作能力；叠放纸杯考验的是速度和效率；垃圾分类（抓取散落纸球放入旋转中的垃圾桶）考验的是实时反应和对动态目标的追踪。

在10次评测的平均成功次数上，WLA-0的整体表现与参数量更大、有预训练加持的π0.5和Motus大致相当，在陌生物体和陌生场景的条件下依然保持了相当的稳健性。特别是在垃圾分类任务上，WLA-0明显优于另外两个基线：Motus由于推理延迟过高，经常在输出动作时垃圾桶已经转过了头，导致投掷失误；π0.5则因为没有历史帧输入，无法感知垃圾桶的旋转速度，也频繁失误；而WLA-0同时拥有历史帧输入和极低的推理延迟，两个优势叠加，使它能够准确预判垃圾桶的位置并及时做出响应。

推理效率的数字对比更加直观。在叠放纸杯任务上，WLA-0的推理延迟约为25.8毫秒，π0.5约为29毫秒，Motus则高达1529.8毫秒——也就是说，WLA-0比Motus快了将近60倍。完成任务的时间同样呈现出鲜明差距：WLA-0约需37.7秒，π0.5约需61.8秒，Motus则要耗费190.1秒。速度上的差距直接转化为任务效率，在需要抢时间的动态场景中意义尤为重大。

十、从视频里"自学"新技能：不用打标注也能学

这部分是整篇论文里最令人印象深刻的探索之一，也是对未来机器人学习方式的一次有趣试探。

收集机器人动作数据的成本极高，因为每一条数据都需要人工遥控机器人完成任务，然后记录下每一帧对应的精确关节角度。相比之下，视频数据就廉价多了——随便拍一段机器人操作的视频，不需要记录任何动作数据，只要有图像就行。那么，WLA-0能不能从纯视频中学到新技能，从而降低对昂贵标注数据的依赖？

研究团队把RoboTwin 2.0的50个任务分成45个"见过的任务"和5个"没见过的任务"。对于没见过的任务，模型完全没有任何动作数据，只有视频。他们分别测试了四种训练设置，从仅使用见过任务的动作数据作为基线，逐步加入见过任务的视频数据、使用相同机器人的未见过任务视频数据，以及使用不同机器人（ARX-X5）的未见过任务视频数据。

基线的平均成功率只有13.0%（干净场景）和11.6%（随机场景），加入同类机器人的未见过任务视频后，成功率跃升至34.4%和30.0%——几乎是基线的三倍。最令人称奇的是"锤击积木"这个任务：基线模型的策略是直接去抓积木本身（因为它只见过抓取类任务），而加入了锤击视频之后，模型正确地学会了先抓起锤子，再用锤子去敲积木。这个新动作完全来自视频观察，没有任何动作标注作为监督。

使用跨机器人视频（ARX-X5）的结果同样相当有竞争力，平均成功率达到28.8%和27.4%，在"放置物品到篮子"这个任务上甚至达到了45%和47%，超过了同类机器人视频的对应成绩。这说明WLA的世界建模机制具备一定的跨机体泛化能力：只要场景变化的视觉规律是相通的，机器人就能从不同外形的同类机器人的操作视频中提炼出可迁移的物理动态知识。

研究团队还尝试了用人手操作的第一人称视频来教机器人学习未见过的任务，但效果并不理想，平均成功率甚至低于基线。研究团队认为，这主要是因为人手视频和机器人模拟环境之间的视觉差异太大，模型难以把两者的场景关联起来。他们表示这是未来工作的一个重要方向，计划通过更好的域对齐手段来弥合这个差距。

说到底，WLA框架做的事情用一句话概括就是：让机器人在动手之前，既能用语言想清楚该做什么，又能用直觉预见做完之后世界会变成什么样，两者结合起来再去动作。这套思路虽然听起来简单，但实现起来充满了工程和算法上的挑战，而且一旦实现，带来的收益是多方面的——更高的动作准确率、更强的长期任务规划能力、更快的推理速度，以及从无标注视频中自学新技能的可能性。

当然，这项工作也有不少尚未解决的问题。真实世界实验目前只在一款双臂机器人平台上进行，任务种类也相对有限，距离"在任何机器人上、任何场景下通用"还有相当远的路要走。从人类视频中学习新技能的效果也还差强人意，需要进一步研究如何缩小人类操作视频和机器人操作视频之间的视觉鸿沟。

对机器人技术的未来感兴趣的读者，不妨通过arXiv:2606.05979这个编号找到完整论文，深入了解其中更多的技术细节和实验数据。在那里，你会找到所有50个RoboTwin任务的逐任务成功率表格，以及对每个设计选择背后原因的完整讨论，是进一步了解这个领域的好起点。

Q&A

Q1：WLA模型和普通机器人控制系统相比有什么本质区别？

A：普通机器人控制系统要么擅长理解语言指令但缺乏物理直觉，要么能预判物理变化但不会推理规划。WLA模型的本质区别在于同时做这两件事：用自然语言预测当前应该执行哪个子任务，同时用物理动态信号预见动作后场景会如何变化，再把两者结合起来指导实际动作。这使它在长序列任务和动态环境中的表现远超单一路线的系统。

Q2：WLA-0推理速度为什么能比同类模型快这么多？

A：WLA-0的速度优势来自两个方面。首先，在实际工作时，负责生成未来预测图像的"世界专家"组件可以完全关闭，只保留约20亿参数的核心网络运行。其次，研究团队采用了CUDA图捕获、算子融合和预计算缓存三种工程优化，把推理延迟从约116毫秒压缩到40毫秒以内。相比之下，Motus等模型在推理时需要生成完整视频帧，计算量远更大，延迟高达1500毫秒以上。

Q3：WLA-0真的能从没有动作标注的视频中学到新技能吗？

A：在机器人视频的范围内，是的。实验显示，加入同款机器人完成未见过任务的纯视频后，WLA-0在这些任务上的平均成功率从13%提升到34%，甚至学会了基线模型从未见过的"锤击"动作。使用不同型号机器人的视频也能达到接近30%的成功率。但用人手第一视角视频效果很差，因为人手和机器人的视觉差异太大，模型无法有效迁移。