机器人动完手再想，反而更快更聪明

2024年，有一类机器人大脑特别流行，让机器人先在脑子里嘀咕一句话,比如"我现在要去拿那个红色方块",再动手去做。这套路子效果确实好,机器人的成功率明显提升。但代价也很明显:机器人必须先把这句话一个字一个字地想完,才能开始动作。

这就像你让一个人每做一个动作之前,都得先大声说出自己要做什么,说完才能动手。说话本身要花时间,这段时间里手是停着的。研究者们测过,这种"先说后做"的机器人,每次决策要多花一半以上的时间在"说"这件事上,最多能占到整个决策耗时的70%。换句话说,机器人有一大半脑力和时间都花在嘴皮子上,而不是手上。

这篇来自NVIDIA的论文叫TacitVLA,它问了一个听起来有点冒犯的问题:机器人的手,真的需要等嘴说完才能动吗？

VLA*：Vision-Language-Action模型的缩写,是一类同时处理视觉、语言和动作的机器人大脑,简单说就是"看得懂、说得出、做得到"的AI系统。

先搞清楚问题出在哪

现在主流的推理型机器人大脑,结构大致是这样的:一个视觉语言模型负责"看懂场景、生成一句话描述接下来要干嘛",另一个专门的动作模块,去读取那句话,再把它翻译成具体的手臂运动。这个动作模块通常用一种叫flow matching的技术逐步去噪生成动作。

flow matching*：一种生成模型技术,通过多步去噪的方式,从随机噪声逐渐"雕刻"出目标数据(这里是机器人动作),效果稳定但需要多步迭代。

问题就出在这句"读取那句话"上。因为这句话是一个字一个字生成出来的(术语叫自回归解码),动作模块必须等它全部生成完,才能开始工作。论文作者测算,在他们训练的几个基准上,这个等待时间占到了单次决策耗时的53%到70%。

自回归解码*：语言模型生成文字的方式,每次只能生成下一个词,必须等前面的词都确定了才能往后生成,整句话说完才算完。

之前也有人想办法解决这个问题。一种思路是搞"双系统",让负责思考的大模型跑得慢一点,专门管执行的小模型跑得快一点,两者异步工作。但这样有个麻烦:快系统执行的,其实是慢系统对着"上一刻"的画面想出来的主意,场景可能已经变了。另一种思路更直接,训练的时候用推理文字当监督信号,但部署的时候干脆不生成这句话了。这类工作证明了"不说话也能行",但没说清楚这样做到底会不会损失性能,也没考虑那些需要记忆的长任务,比如数按钮按了几次这种,还必须得有文字记下来。

TacitVLA想做的事,是把这个问题讲清楚:如果动作完全不依赖当前这次生成的推理文字,性能到底会不会掉？

一次只改一个开关:注意力掩码

TacitVLA的核心设计非常克制,甚至可以说朴素。它没有改变训练数据,没有改变损失函数,没有改变网络结构,只改了一件事:动作专家模块在训练和推理时,能不能"看到"当前这一步生成的推理文字。

具体来说,整个系统还是老样子:一个视觉语言骨干网络负责生成推理文字,一个动作专家负责通过flow matching去噪生成动作。两者共享同一套注意力机制,层层传递信息,这种结构有个专门名字叫Mixture-of-Transformers,意思是两套权重独立的网络,但用同一个注意力层把信息打通。

训练时,骨干网络依然要学着去预测推理文字(这叫交叉熵损失),动作专家依然要学着去噪出正确动作(这叫flow matching损失)。这两个目标一个都没少。唯一的区别藏在一个注意力掩码的格子里:在"显式推理"版本里,动作专家可以看到它自己生成的那句话;在TacitVLA版本里,这个格子被屏蔽掉了,动作专家只能看到场景和指令,看不到当前这次生成的推理文字。

这个设计背后的逻辑是这样的:推理文字对动作的帮助,其实可能走两条路。第一条路是训练阶段的监督信号,逼着骨干网络学会更好地理解场景,这个理解力会沉淀进网络的内部表示里,动作专家间接受益。第二条路是推理文字作为输入直接喂给动作专家,让它当场参考。论文的假设是,真正起作用的是第一条路,第二条路其实是多余的计算,没有带来额外的信息。

这就好比一个老师傅带徒弟干活。徒弟每次动手前,得先把操作步骤完整背一遍给师傅听,师傅点头了才能动手。这个"背步骤"的过程,真的是徒弟动作准确的原因吗？还是说,真正起作用的是徒弟在学习背诵步骤的过程中,脑子里已经把整套操作逻辑理顺了,背不背出来,手上的动作已经不会出错了？如果答案是后者,那让徒弟闭嘴直接干活,结果应该是一样的,还能省下背诵的时间。如果真相是前者,那省掉背诵这一步,活儿肯定会干砸。TacitVLA要验证的正是这件事。

按这个思路,论文设计了三组对照:什么推理都不训练的"无推理"版本,训练时用推理文字监督、部署时动作要等推理文字生成完的"显式推理"版本,以及训练方式和显式推理完全一样、但动作专家被屏蔽掉当前推理文字的TacitVLA。三者除了这一个注意力开关,其他完全相同,这样对比出来的差异,才干净地对应着"动作到底要不要等推理"这一个变量。

有记忆的任务怎么办

机械臂的世界里,不是所有任务都是"看一眼就知道该干嘛"的。有些任务需要记住之前发生过什么,比如要求机器人把某个动作重复三次再停下。当前画面根本看不出来之前已经做了几次,这时候推理文字就不只是辅助理解,它本身就是记忆的载体。

论文管这类任务叫记忆任务。做法是每次生成的推理文字,会被追加进一个叫ledger的记录本里,下一次决策时,这个记录本是上下文的一部分。

ledger*：论文中用来指代一种文本记忆账本,机器人每完成一步子任务,就往里记一笔,后续决策靠翻这个账本知道自己做到哪一步了。

这就带来一个新问题:既然推理文字要进账本,那它总得被生成出来,不可能完全跳过。TacitVLA的解法是把生成这件事挪到了执行动作的同时进行。机器人先根据当前账本做出动作判断,手已经开始动了,与此同时,骨干网络在后台把这一步该记的账算出来,等下一次决策需要查账本时,这笔账已经记好了。

这就像一个厨师炒菜。按传统做法,厨师炒完一道菜,得先停下来,把这道菜的做法完整写进菜谱本里,写完才能颠勺炒下一道。TacitVLA的做法是,厨师炒完一道菜直接颠勺炒下一道,写菜谱这件事交给旁边的助手,趁着炒下一道菜的功夫同步把上一道菜的记录补上。只要写菜谱的速度比炒下一道菜快,整个流程看起来就和不用等一模一样。如果写菜谱比炒菜还慢呢？那厨师确实得等一下,但也只多等慢出来的那部分时间,而不是整个写菜谱的全部时间。

论文给出的公式说得很直白:TacitVLA在记忆任务上的延迟,等于动作本身的计算时间,加上推理生成时间超出动作执行窗口的那部分,如果推理生成得比动作执行还快,这部分就是零。实测数据显示,在他们测的所有记忆任务里,后台生成从没超出过执行窗口,最多占到窗口时间的23%,所以TacitVLA的延迟几乎等同于完全不推理的版本。

四个战场,三组选手

论文选了四个基准来做这套对照实验,横跨机械臂操作和自动驾驶两大领域,并且刻意挑了两个有记忆、两个没记忆的场景,确保结论不是偶然。

RoboMME是个16项任务的记忆基准,其中四个计数任务要求机器人数清楚自己重复做了多少次某个动作,比如往篮子里放了几个方块。RMBench同样考验长时记忆,论文选了其中按钮重复按压这类必须靠记忆才能完成的任务。LIBERO和它的加强版LIBERO-Plus是机械臂操作的标准测试集,推理文字在这里只负责描述当前场景和下一步计划,不需要被记住。PhysicalAI-AV是自动驾驶场景,用了380万条真实驾驶事件训练,推理文字是一段因果链描述,比如"因为左侧车道有车超车,所以向左找空当准备并线"。

在RoboMME的计数任务上,结果相当亮眼。只训练计数任务的情况下,完全不推理的版本成功率是79.0%,显式推理版本是86.7%,而TacitVLA达到了89.5%,这个数字甚至超过了论文给出的人类参考水平88.5%。需要说明的是,那个人类参考值是人只负责下达高层指令、底层执行完全由一个不出错的预设程序完成,而TacitVLA是从头到尾自己完成每一个动作细节,在这样的条件下反超人类参考值,说明推理监督带来的收益非常扎实。训练16项全任务时,TacitVLA总分48.1%,超过了此前公开发表的最好成绩44.5%。

RMBench上,四个任务的平均成功率里,TacitVLA拿到77.5%,显式推理77.0%,完全不推理只有60.4%,而此前发表的最好方法WLA-0是56.5%。特别值得一提的是Press Button这个任务,按钮按压次数完全要靠账本记忆,不推理的版本成功率只有7.7%,而两个有推理的版本都在73%到74%左右,差距巨大,说明记忆机制是这类任务的硬性门槛,不是锦上添花。

LIBERO-Plus上,推理监督把成功率从67.6%拉到了73.5%(显式推理)和72.9%(TacitVLA),差距不到一个百分点。标准LIBERO四个套件已经接近满分,三者都在98%上下,差异可以忽略。

自动驾驶场景,TacitVLA的闭环场景得分是52.5%,显式推理是52.3%,不推理的版本只有46.4%。作为参照,论文提到的Alpamayo-R1模型用了100亿参数、四个摄像头,拿到55.0%的分数,而TacitVLA只用了不到一半的参数、一半的摄像头,就逼近到2.5个百分点之内。

下面这张表汇总了四个基准上最核心的几组对比数字:

| 基准 | 完全不推理 | 显式推理 | TacitVLA |

|---|---|---|---|

| RoboMME计数任务 | 79.0% | 86.7% | **89.5%** |

| RoboMME全16任务 | 46.5% | 45.8% | **48.1%** |

| RMBench四任务均值 | 60.4% | 77.0% | **77.5%** |

| LIBERO-Plus | 67.6% | **73.5%** | 72.9% |

| PhysicalAI-AV闭环场景分 | 46.4% | 52.3% | **52.5%** |

速度上的差距才是真正的重点

性能打平只是故事的一半,延迟上的差距才是这篇论文真正想证明的价值。

论文用了一套精细的计时方法,把每次决策拆成几个阶段分别计时:动作本身的计算时间(视觉编码、提示词预处理、去噪生成动作),推理文字的生成时间,以及动作实际执行所占用的物理时间窗口。

在RoboMME的计数任务上,动作计算只要127毫秒,但生成一条账本记录要额外花93毫秒。显式推理版本把这两段时间串联起来,单次决策要220毫秒,TacitVLA因为把生成挪到了执行过程中同步进行,单次决策只要127毫秒,快了1.7倍。在RMBench上,这个倍数在1.4到1.7倍之间波动,具体取决于不同任务的执行窗口长短。

在非记忆任务上,差距更夸张。LIBERO上,TacitVLA压根不需要生成任何文字,延迟是147毫秒,和完全不推理的版本一模一样;显式推理版本要等推理生成完才能动,单次决策要495毫秒,是TacitVLA的3.4倍。自动驾驶闭环场景里,这个倍数是2.1倍。

这组数字其实揭示了一个容易被忽略的事实:推理监督这件事本身的价值,和推理文字在部署时要不要被使用,是两码事。前者发生在训练阶段,塑造的是网络内部的理解能力;后者发生在部署阶段,纯粹是额外的计算开销。论文的贡献就是把这两件事彻底解耦开了。

延迟从哪儿来,又为什么能省掉

这背后其实有个更深的问题值得琢磨:为什么推理文字能提升性能,但动作专家读不读它居然无所谓？

论文给出的解释是,推理监督改变的是骨干网络本身的内部表示。当你训练一个网络去生成"我现在要去抓那个红色方块这类描述时,这个网络为了把这句话说对,必须先在内部把场景理解透彻,把目标物体、空间关系、任务进度都在隐层表示里编码清楚。这种理解能力一旦学会了,是沉淀在网络参数里的,不需要靠动作专家再去读一遍生成出来的文字才能用上。

这有点像学外语时的"磨耳朵"现象。你为了练出流利口语,每天对着镜子大声说句子,日子久了,你发现自己说话时根本不用在脑子里先把中文想一遍再翻译,语感已经内化了。那句"磨耳朵"说出来的话本身,其实已经不是你流利表达的直接原因,真正起作用的是说话这个训练过程塑造了你的语言直觉。如果有人非要你先把要说的话写在纸上,读一遍才能张嘴,那只是多此一举,拖慢了你说话的速度,并没有让你说得更准确。

论文还专门做了一组额外实验来验证这个解释是不是稳健的。他们把训练里那个控制推理监督权重大小的参数(叫交叉熵权重)调了三档,分别是0.1、0.01和0.001,在计数任务和全任务两种设置下各跑一遍。结果TacitVLA在六组设置里有五组拿到最高分,唯一一次没拿到最高分,和最高分的差距也只有1.2个百分点。这说明这个结论不是调出来的偶然巧合,而是在不同超参数设置下都站得住的规律。

当然,这套方法也不是没有代价。论文自己也坦承,记忆任务上的延迟优势,只在后台生成时间短于动作执行窗口时才成立。他们测的场景里,最长的生成时间只占到执行窗口的23%,余量很充足。但如果换一个场景,执行窗口特别短,或者需要记录的内容特别长,生成时间超过了执行窗口,那TacitVLA依然得等,只是等的时长是超出的那部分,而不是整个生成过程,比显式推理版本要好,但也不是完全免费的。

从一篇论文到一类做法

这篇论文沿着的,其实是一条已经有不少人探索过的路。早在2024年,就有研究证明让机器人先描述场景、制定计划再动手(这类方法统称embodied chain-of-thought,具身思维链),确实能提升泛化能力。后续陆续有工作尝试把推理内容压缩成潜在向量而不是文字,试图省掉文字生成的开销;也有工作干脆复用上一次生成的推理文字,不每次都重新生成一遍。

embodied chain-of-thought*：具身思维链,指机器人在执行动作前,先用文字描述场景观察、推理过程和行动计划的技术路线,最早由加州大学伯克利分校等机构在2024年提出。

TacitVLA没有走这些技术路线,它走的是一条最朴素的路:既然问题出在"等",那就想办法让动作完全不等。这个思路简单到几乎有点反直觉,因为直觉上你会觉得,既然推理文字对动作有帮助,动作就应该参考它才对。但论文用四个基准、十几项具体任务的数据证明,这个直觉可能是错的,至少在它测试的这些场景里是错的。

论文里还提到一篇几乎同期的工作叫Fast-WAM,研究的是另一个方向:要不要在动作前先生成一段未来画面的预测视频。Fast-WAM的结论和TacitVLA惊人地相似,跳过生成未来视频这一步,直接用训练阶段学到的表示去动作,效果同样不打折。两篇论文摆在一起看,传递出一个共同的信号:在"先生成一些中间产物、再用它指导动作"这类设计里,那个中间产物本身,很可能只是训练过程里的脚手架,不是部署时真正必须保留的东西。

写在后面

读这篇论文时,最让我觉得意外的,是那个89.5%超过人类参考水平88.5%的数字。这不是说TacitVLA比人聪明,而是那个"人类参考"本身的设定很刻板,人只负责决策,执行完全交给一个不犯错的程序。而TacitVLA是真刀真枪地自己完成每一次抓取、放置的动作,还能逼近甚至反超这个理想化的参照线,这说明推理监督这件事带来的收益,扎实到足以弥补"真实执行会犯错"这个天然劣势。

还有一个细节值得单独说一说。论文在附录里给了好几组真实的失败案例对比,显式推理和TacitVLA在同一个初始状态下跑出来的失败轨迹,失败的原因几乎一模一样:该进篮子的方块没进去,该确认的按钮没按上。这说明TacitVLA不是靠运气蒙对了几道题,它犯的错误和那个"更贵"的版本犯的错误是同一类错误,这是一种挺扎实的证据,证明两者学到的东西本质上是一回事。

这篇论文留下的一个开放问题是,如果把"推理文字"换成"未来视频预测"这类更丰富的中间产物,甚至同时训练两者,这套"训练时用、部署时丢"的逻辑还能不能成立？论文作者自己也提了这个方向,认为可以构建一个同时预测推理、未来画面和动作三路目标的骨干网络,训练时全都学,部署时只留动作这一路跑得快。如果这个设想真的可行,那机器人大脑的训练和部署,可能会变成两件越来越不一样的事情:训练阶段追求的是让模型学得足够多、足够深,部署阶段追求的是让模型跑得足够快、足够省。这两个目标过去总是互相拖累,现在看来,它们或许可以被彻底分开。

Q&A

Q1：TacitVLA是什么？

A：TacitVLA是NVIDIA团队提出的一种机器人推理模型,它让机器人的动作模块在执行当前动作时不依赖刚生成的推理文字,从而在保持推理监督带来的性能提升的同时,大幅降低了决策延迟。

Q2：TacitVLA和传统的显式推理机器人模型相比,速度能快多少？

A：在非记忆类任务上最多能快3.4倍,在需要记忆的任务上能快1.4到1.7倍,具体取决于任务的执行窗口长度和推理生成所需的时间。

Q3：TacitVLA会不会因为跳过推理生成而牺牲机器人的成功率？

A：不会。论文在四个基准、横跨机械臂操作和自动驾驶的测试里证明,TacitVLA的成功率和需要等待推理生成的版本基本持平,部分任务上甚至更高,比如RoboMME计数任务达到89.5%。