微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 机器人让你重新想象它的大脑:给一个机械臂装上"边想边做"的能力,需要多久?

机器人让你重新想象它的大脑:给一个机械臂装上"边想边做"的能力,需要多久?

2026-10-07 13:25
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-10-07 13:25 • 科技行者

先说一个让人挠头的场景。

你让一个机器人去捡桌上的杯子。它的大脑里有一个很聪明的设计:不光要算出手臂该往哪儿动,还要先在脑子里"想象"一下未来几秒钟画面会变成什么样,杯子被抓起来是什么样子,桌子会不会晃。这种一边预测画面一边生成动作的模型,学界给它起了个名字。

世界动作模型:一种同时预测机器人动作和未来画面的AI模型,让机器人在行动前先在脑内"演一遍"接下来会发生什么,从而做出更靠谱的决策。

听起来很美好对不对?机器人有了想象力,行动更审慎了。但问题也随之而来,这个"想象"的过程一点都不便宜。

**核心问题出在哪**

先说清楚一件事:这类模型的工作方式,通常叫"去噪"。

去噪:扩散模型生成内容的方式,一开始是完全随机的噪声,模型通过很多步计算,一步步把噪声"擦干净",最终变成有意义的图像、视频或动作序列。

一个标准的世界动作模型,每次要重新规划动作时,都得把整段未来的视频和动作从纯噪声开始,一步步去噪到干净结果。这就好比你每次换一个红绿灯路口,都要把导航软件重新打开、重新联网、重新规划从头到脚的整条路线,哪怕你其实只是想知道下一个路口该左转还是右转。

论文里给出了具体数字:标准的联合世界动作模型(论文里叫Joint-WAM),每次重新规划要花978毫秒,接近一秒。这意味着机器人每次收到新的摄像头画面后,要愣一秒钟才能做出下一步反应。在动态环境里,一秒钟够多少事情发生?桌上的杯子可能已经倒了。

也有人想到了取巧的办法:干脆别生成未来画面了,直接出动作,这样确实快(论文里的Fast-WAM,548毫秒),但代价是丢掉了"预判"这个能力,机器人变得更"短视"。

这就是研究者们面临的两难:要么慢而有远见,要么快而盲目。

**滚动去噪:把一次性大工程拆成分期付款**

Rolling-WAM这篇论文的作者们琢磨出的办法,说穿了非常朴素:既然每次重新规划都要把整段未来从头去噪一遍太浪费,那能不能把这个"去噪"的工作量,分摊到多次规划周期里,像分期付款一样?

具体怎么做?

论文里设计了一个滑动窗口机制,把未来要执行的动作和对应的画面切成好几段,叫做"块"。

滑动窗口:论文中维持一个包含多个"动作-视频块"的窗口,每个块对应一段时间的动作序列和相应画面,这个窗口会随着机器人执行动作不断往前滑动更新,而不是每次都推倒重来。

窗口里离现在最近的那个块,噪声水平最低,接近"干净";越往后的块,允许的噪声水平越高,越模糊、越"暂定"。机器人执行完最近的一个动作块之后,这个块就从窗口里移出去,剩下的块整体往前挪一位,然后在窗口最后补一个全新的、纯噪声的块。整个过程中,之前那些还没执行完的、部分去噪过的未来预测**不会被扔掉**,而是继续在下一轮里接着被精炼。

这个设计的关键在于,作者们发现了一个数学上很巧妙的性质:如果去噪的进度调度设计得当,某个块在这一轮结束时达到的噪声水平,正好等于它挪到新位置后下一轮开始时应该有的噪声水平。这意味着不需要额外的调整,直接无缝衔接。

打个比方,这就像一个厨房里的流水线烘焙,而不是每次只烤一个蛋糕从头开始和面。第一炉面包已经进了烤箱快烤好了(马上要执行的动作),第二炉刚揉好面团正在醒发(部分去噪的未来预测),第三炉的面粉才刚倒进盆里(纯噪声的新块)。每隔一段时间,烤好的面包出炉(动作被执行),后面的进度往前推一格,最后再往流水线尾端加一批新面粉。如果不这样做,会发生什么?你每次都得等一整炉面包从和面到烤好全部完成才能吃上第一口,中间谁都别想动。

这样一来,每次重新规划时,机器人真正需要"从头算起"的工作量就大大减少了。论文里的默认配置是:整个去噪过程分成10步,窗口里有5个块,那么稳定运行状态下,每次重新规划只需要2步去噪,而不是10步。这就是为什么Rolling-WAM能把每次规划的时间压到215毫秒,比标准方法快了4.5倍。

**近的想清楚,远的先打个草稿:这符合人类的直觉吗**

论文里有一句话我觉得挺打动人的:这种设计"类似于人类规划的直觉:近期的行动是具体的,而更远的计划仍是初步的,会随着新观察的到来而不断修正"。

仔细想想,这确实是我们每个人做计划时的常态。你今天晚上要不要点外卖,这个决定很清楚很明确;但你对下周末去哪里玩,可能只有一个模糊的方向,等临近的时候再根据天气、心情、钱包情况来细化。没有人会在周一就把下周末每一分钟的行程都规划到位,因为那样做既费脑子,又很可能因为计划赶不上变化而全部作废。

Rolling-WAM把这个直觉写进了模型架构里。近处的动作块必须变得"干净"、可执行;远处的动作块可以保持模糊,等真正临近时再逐步收敛。

这里有一个技术上的支撑,叫做扩散变换器。

扩散变换器:一种结合了扩散模型(逐步去噪生成内容)和Transformer架构(一种擅长处理序列数据、能捕捉长距离依赖关系的神经网络结构)的模型,广泛用于图像和视频生成任务。

Rolling-WAM里有两个这样的"专家"网络,一个专门处理视频画面,一个专门处理动作序列,两者通过一种叫"混合专家变换器"的架构耦合在一起,共享信息但各自专精。

混合专家变换器:一种神经网络设计思路,让不同的子网络(专家)分别处理不同类型的数据(比如视频和动作),同时通过注意力机制让它们互相"看得到"对方,从而实现信息共享又保持专业分工。

视频专家的初始参数来自一个预训练好的视频生成大模型Wan2.2,这样它天然就懂得画面该怎么变化,不用从零学起。动作专家则是从视频专家的权重插值初始化而来的,参数量大约10亿。

**注意力机制的取舍:谁能看见谁**

模型内部还有一个很讲究的设计,叫注意力掩码。

注意力机制:神经网络里让不同位置的信息互相"关注"、互相影响的一种计算方式,可以理解为让模型在处理某个信息时,能同时参考其他相关信息。

Rolling-WAM里做了个规定:每一个动作块,都可以看到整个窗口里的所有视频画面信息,但不同动作块之间不能直接互相看,同一个块内部的动作是可以互相参照的。视频信息不会反过来去看动作信息。

这个设计听起来有点像公司里的信息流转规则。所有部门(动作块)都能看到公司整体的战略简报(视频窗口),但各个部门之间不能绕过流程互相打听对方的具体执行细节,只能通过统一的简报来协调。论文的消融实验证明了这一点的重要性:如果打开动作块之间的直接互相关注(论文里叫A2A),在RoboTwin基准上的成功率反而从78.2%降到76.3%。这说明信息共享要有一个统一的、干净的渠道(视觉画面),直接的"小道消息"(动作间的相互关注)反而会引入噪音,拖累整体表现。

**实验结果:又快又不差,甚至更好**

理论说得再漂亮,最后还是要看效果。论文在三个场景里做了验证。

第一个是LIBERO,这是一个常用的机器人操作仿真基准,包含空间、物体、目标、长程四类任务。Rolling-WAM拿到了98.1%的平均成功率,只比表现最好的两个方法(LingBot-VA和Joint-WAM,都是98.5%)低了0.4个百分点,同时明显超过了Fast-WAM的97.6%。

第二个是RoboTwin 2.0,一个双臂操作基准,包含50个任务,分为"干净场景"和"随机化场景"两种设置(后者会给场景加入更多干扰变化,考验模型的鲁棒性)。这里Rolling-WAM表现更亮眼,干净场景93.5%、随机场景93.0%,平均93.3%,**超过了所有对比方法**,包括需要额外预训练的LingBot-VA(92.2%)。

第三个最有说服力,是真实世界的实验。研究者们在一台人形机器人Unitree G1上跑了三个实际任务:把玩偶放进盒子、叠三个盘子、把珠子从瓶子倒进杯子。

真实世界的数据不会撒谎,也没有仿真环境的"美颜滤镜"。结果是Rolling-WAM平均成功率85.0%,领先第二名Joint-WAM的78.3%将近7个百分点。研究者还观察到一个有意思的细节:用Joint-WAM控制的机器人在动作块之间的衔接处会出现明显的停顿,有时候还会打断任务的连贯性;而Rolling-WAM的执行明显更流畅连续。这恰恰印证了论文的核心论点:规划延迟不是一个纯粹的理论指标,它会实实在在地体现在机器人手臂动作的顿挫感上。

**窗口开多大合适:不是越大越好**

论文还做了一系列细致的消融实验,其中一个很值得说道的发现是:滑动窗口的大小并不是越大越好。

研究者把窗口大小从1一路调到8去测试,发现成功率在窗口为5的时候达到峰值78.2%,窗口开到8反而跌到了69.5%。

这个现象其实也挺符合直觉。窗口越大,意味着模型要对越遥远的未来做预测,而这些遥远的预测本身就更不确定,跟眼下的真实观察关联度也更低。这就像你计划下个月的行程,计划得越细致越具体,反而越容易因为现实情况变化而整个推翻重做;相反,如果只是划定一个大致方向,反而更容易随机应变。窗口太大,等于让模型把太多精力浪费在猜测遥远又多变的未来上,对眼下这一步该怎么走反而没有实质帮助。

**这套方法解决的根本矛盾是什么**

回到最初的问题:世界动作模型给了机器人"想象力",但这份想象力太贵,贵到会拖慢机器人的反应速度。

Rolling-WAM给出的答案不是砍掉想象力(像Fast-WAM那样),也不是硬扛着算力成本(像Joint-WAM那样),而是把想象这件事拆成了一个持续进行、逐步细化的过程,而不是每次都从零开始的一次性大工程。

这背后其实藏着一个更普遍的工程智慧:很多"重新计算"的成本,本质上来自于把可以复用的中间状态当成了一次性消耗品。论文里提到,标准方法"完全丢弃"了未执行完的那部分预测,而不是把它们"跨规划周期复用"。这句话点出了问题的关键,浪费不在于计算本身有多难,而在于计算完了没有被好好利用。

论文的作者们还提到,这个思路来自于"滚动扩散"(Rolling Diffusion)这一系列在视频生成领域的先驱工作,他们把这个思路第一次系统地引入到了机器人的联合视频-动作建模里,并让动作token能够关注到部分去噪的视觉未来。这算是把一个原本用于生成视频序列的技巧,成功嫁接到了机器人控制这个截然不同却又高度相关的领域。

值得说一句,这个方法本身和其他加速手段并不冲突。论文里提到过其他一些团队尝试过的方向,比如干脆不生成未来画面、把视觉特征缓存起来复用、用蒸馏压缩模型体积等等。Rolling-WAM选择的这条路,理论上完全可以和这些方法叠加使用,进一步压榨出更快的速度。

**写在后面**

读完这篇论文,最触动我的其实不是那个4.5倍的加速数字,而是背后那个简单到有点朴素的洞察:为什么之前没有人这么做?

标准做法里,每次规划都从头去噪一遍,这几乎是一种"路径依赖"式的思维惯性,大家默认了扩散模型就应该这样用,却没有认真质疑过"重新规划一定要从零开始"这件事本身是不是必要的。Rolling-WAM提醒我们,很多看似理所当然的计算流程,其实是历史遗留下来的默认选项,而不是唯一正确答案。

还有一个细节值得单独拎出来说:论文里提到窗口大小为8的时候,成功率反而下降到69.5%,比窗口为1的63.0%只高一点点。这说明"预测得更远"这件事本身并不是免费的礼物,它是有代价的,代价就是这些远期预测的可信度会随着距离衰减,而模型如果被迫去关注这些不靠谱的远期信息,反而会被带偏。这让我想起做长期计划这件事,计划得太细太远,反而容易变成自我束缚,而不是真正的帮助。

论文的作者们在结尾也坦诚地承认了局限:窗口和块大小这些超参数,在不同的任务动态和控制频率下可能需要重新调试,目前还没有一个通用的自适应方案。如果场景变化得特别快,那些还在窗口里"排队等待精炼"的预测,可能会跟不上现实的变化速度,反而误导了动作生成。这是一个诚实的未解问题,也留给了后来者继续探索的空间:机器人的"想象力"应该多具备前瞻性、又该多快地跟着现实修正自己,这个平衡点,或许永远没有一个放之四海而皆准的答案。

Q&A

Q1:Rolling-WAM是什么?

A:Rolling-WAM是一种世界动作模型,它通过维持一个滑动窗口,让未来的动作和画面预测在多个重新规划周期里逐步精炼,而不是每次都从纯噪声重新生成整段预测,从而大幅降低机器人的规划延迟。

Q2:Rolling-WAM比标准方法快多少?

A:在默认配置下,Rolling-WAM每次重新规划只需215毫秒,而标准的联合世界动作模型(Joint-WAM)需要978毫秒,速度提升约4.5倍,同时在仿真和真实机器人任务上的成功率也不逊色甚至更高。

Q3:Rolling-WAM的滑动窗口越大效果越好吗?

A:不是。实验发现窗口大小为5时成功率最高(78.2%),窗口开到8反而降到69.5%,说明过远的预测可信度低,窗口不是越大越好,需要根据任务权衡。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-