机器人每干一步活都要问一次AI大脑，这事到底有多烧钱

你有没有想过，一个机器人要从桌上拿起一个碗放到盘子里，中间要经过多少次"思考"？

答案可能让你意外：按照现在主流的做法，可能要思考二十多次。每次思考还都要重新看一遍照片,包括机器人手上的摄像头拍的、肩膀上摄像头拍的,一次三张图,每移动一步就要重新看一次。这意味着一个简单的拿碗放盘子的任务,机器人光是"眼睛"收集的信息,就能堆出上百万个token。

这不是夸张。北京大学、新加坡国立大学联合NVIDIA等机构的研究团队,在一篇名为《Fewer Tokens, Better Action》的论文里,用实打实的数据揭开了这个问题:在700个模拟任务里,传统的"工具调用"方式平均每完成一个任务要花费78.8万个token,折合成美元是1.63美元。而他们提出的新方法,只要27.6万个token,0.74美元,成功率反而从63.1%涨到了71.7%。

这事听起来有点反直觉。一般我们会觉得,模型想得越多、看得越勤快,干活应该越靠谱才对。可现实是,看得太勤快反而成了拖累。

机器人怎么"思考"这件事,到底卡在哪

要理解这个问题,得先搞清楚机器人是怎么被AI操控的。

现在流行的做法叫工具调用

工具调用:给AI一堆现成的"功能按钮",比如"移动机械臂""抓取物体""旋转手腕",AI每次决定按哪个按钮,系统执行完把结果(通常包含几张照片和机器人当前状态)返回给AI,AI再决定下一步按哪个按钮。

这套逻辑听着挺合理:每走一步都汇报一次,AI随时掌握最新情况,出了问题能及时纠正。问题是,这种"每走一步就汇报"的机制有个致命的副作用,就是每一步操作,不管这步操作本身多简单、多确定,都得让大模型重新"想"一遍。

打个比方。你让一个新手厨师炒个菜,新手厨师没有自主判断力,所以你规定了一套流程:他切完一刀,就停下来喊你过来看看切得对不对;倒完一次油,又喊你来看看油量够不够;翻一次锅,还要喊你来确认火候。你当然可以保证每一步都不出错,但你会发现,你大部分时间都花在了"跑过去看一眼"这件事上,而不是真正在思考怎么把菜炒好。如果这道菜需要二十个步骤,你就要跑二十趟,每趟还得把厨房的全景、锅里的情况、调料台的状态都看一遍,哪怕这一步只是把盐递过去这么简单的事。如果不这样"每步都喊你",厨师倒是能自己连续切完三刀、倒完油、翻完锅,等真正遇到拿不准的情况(比如这块肉好像切老了)才喊你,你跑的趟数会从二十趟降到三四趟,看到的信息量也只是你真正需要确认的那几眼,而不是从头到尾的全景录像。

这就是论文里工具调用模式面临的真实处境。机器人每做一个依赖上一步结果的动作,比如"先确认抓到了没抓到,再决定要不要松手",理论上都得让大模型重新判断一次。于是产生了大量本可以内部消化、却被迫上报给AI的"碎碎念"。

研究团队把这套新方案命名为PyRUA-Lean

PyRUA-Lean:全称是Python for Lean Robot-Use Agents,意思是"面向精简机器人操作智能体的Python执行框架"。简单说,就是让AI不再是"一步一指挥",而是改成"写一段小程序,让程序自己跑完一串动作,跑完了再来汇报结果"。

这就是整篇论文要讲的核心思路。接下来我们拆开看,这套新方案具体是怎么设计的。

把"连续动作"打包成一段代码,而不是一次次喊口令

PyRUA-Lean最核心的设计,是把机器人暴露成一个Python对象,叫robo。

AI不再是一次只下一个指令,而是直接写一段Python代码,这段代码里可以包含好几个动作:移动机械臂,检查有没有抓到东西,抓到了就继续,没抓到就重试,全部在这一段代码里自动跑完,跑完了才把最终结果汇报给AI。

这意味着什么?意味着那些"这一步做完了,下一步该干嘛"的决策,只要逻辑是确定的(比如"抓到了就继续,没抓到就重试三次"),完全不需要再劳烦大模型。大模型只需要在写代码的时候,把这套逻辑想清楚、写进去就行,剩下的执行过程,交给普通的程序运行引擎去跑。

论文里有个非常具体的例子很能说明问题。机器人要把一个碗从灶台搬到盘子上,用工具调用的方式,这个过程被拆成了20次AI调用,每次调用都带回三张照片,总共消耗了104万个token,跑了816k token才算成功。而用PyRUA-Lean,AI只写了6段代码,第一段代码里就把碗和盘子的位置都定位好了,第二段代码里完成了靠近和抓取,第三段关闭夹爪并抬起,第四段检查有没有真的抓到,第五、六段完成搬运和放置,整个任务只用了8次AI调用,消耗22万token,成功的那一刻只花了15.6万token。差距是五倍以上。

这里要延伸说一个更有意思的细节。工具调用模式下,AI能看到的"操作结果",只能是预先设计好的那些工具能返回的东西,比如某个像素点对应的三维坐标、某个区域的统计信息。但PyRUA-Lean里的AI,因为它写的是真正的Python代码,它可以自己读取摄像头拍到的点云数据,自己用NumPy做几何计算。

论文里给了一个特别精彩的案例:机器人要把一个摩卡壶立起来放到炉子上,结果两个AI系统都把壶弄掉了。工具调用的AI反复调用抓取模型想重新夹起来,试了四次都没成功,只能放弃。而用PyRUA-Lean的AI做了一件工具调用根本做不到的事:它读取了壶盖的三维点云,自己写代码拟合出一个平面,算出壶盖的法线方向,由此推断出壶倒下的朝向,然后计算出应该把壶的底部而不是夹爪本身对准炉子的中心。这是一次真正的"现场发明",不是任何预设工具能给出的功能。

这种"程序能计算工具算不了的东西"的能力,放在生活里也不难理解。你可以类比成这样一件事:普通的计算器只能让你输入数字按加减乘除,算出一个固定的结果;但如果给你一张Excel表格,你可以自己写公式,把好几个单元格的数据组合起来算出一个计算器菜单里压根没有的指标,比如"过去三个月每周平均增长率的标准差"。计算器的功能是别人提前规定好的,你没法临时发明;而表格给你的是运算的自由,你想算什么就能现场写出来。如果机器人只能用提前设计好的工具,那遇到工具没覆盖到的边缘情况,它就只能反复重试同一个失败的操作;而给它写代码的自由,它就能现场拼出解决方案。

看不看照片,AI自己说了算

另一个关键设计叫选择性观察

选择性观察:AI只有在代码里主动要求"给我看一下摄像头画面"的时候,系统才会把图片返回给AI;如果代码没有要求,图片压根不会进入AI的对话历史里。

这一点听起来简单,但效果惊人。论文里统计过,在那个碗和盘子的例子里,工具调用模式每挪动一次机械臂,系统都会自动甩回三张图片,哪怕AI根本不需要看。而PyRUA-Lean里,AI在放置碗的那一段代码的最后写了一句"如果任务还没完成,才显示一下摄像头画面",结果因为这次放置是成功的,这段代码最终一张图片都没返回。

研究人员专门做过一个对照实验来验证,这个"少看照片"到底是不是省token的真正原因。他们把工具调用模式稍微改了一下,让它的工具也只在AI主动要求时才返回图片,而不是每次操作后自动返回。结果出乎意料:成功率从83%掉到了68.5%,而且token消耗几乎没有减少。

这说明一个很重要的事:光是少看照片,救不了工具调用模式。因为工具调用模式下,每一次决策,不管要不要看图,本身就要占用一次AI调用,这个调用的开销(提示词、历史对话、整个API描述)是跑不掉的。真正能省钱的,是把"决策次数"砍下来,而少看照片只是在这个基础上锦上添花。

这里有个值得琢磨的类比。想象你在办公室管理一个仓库,每次有货物进出你都要走到仓库门口,亲自确认一遍库存清单上的每一样东西有没有变化,哪怕这次只是进了一盒订书钉。如果你决定"以后只在清单对不上账的时候才去核对",你省下来的不只是"看清单"这个动作本身的时间,更重要的是你不用每次都专门走一趟仓库门口。但如果你只是把"核对清单"这件事做得更快(比如清单做得更简洁),你走仓库门口的次数一次都没少,时间照样搭进去。真正该省的是"走一趟"这件事本身,而不是"走一趟之后看多久"。工具调用模式的问题就出在这,每次操作都强制走一趟AI调用,这才是大头。

论文作者专门把token节省这件事拆解成了两部分:一部分是"调用次数少了多少倍",另一部分是"每次调用平均要处理多少token"。数据显示,在LIBERO-PRO这个基准测试上,总体token节省了4.48倍,其中2.55倍来自调用次数减少,1.76倍来自每次调用内容变小。而在RoboCasa365的简单任务上,PyRUA-Lean每次调用处理的token其实比工具调用还多(因为它的API描述更长),但靠着调用次数的大幅减少,总token消耗依然更低。这组对比清楚地说明,省钱的大头,是少问几次,而不是每次问得更精简。

三个测试场地,七百次任务,数字说话

研究团队没有只在一个简单场景里验证这套方法,而是挑了三个风格迥异的测试场:LIBERO-PRO、RoboTwin 2.0、RoboCasa365。

LIBERO-PRO:一个带有随机扰动的机器人操作基准测试,专门用来检验模型是不是真的理解任务,而不是死记硬背训练时见过的场景布局。

RoboTwin 2.0:一个双臂机器人的测试平台,任务更偏向精细操作和双手协同。

RoboCasa365:模拟居家环境的测试集,任务分为"原子任务"(单步动作,比如打开抽屉)和"组合任务"(多步骤长链条任务,比如先拿调料再炒菜)。

两套系统,一套走工具调用老路,一套走PyRUA-Lean新路,背后用的都是同一个叫GPT-6 Astra的大模型作为"大脑",用的也是完全相同的底层机器人操作原语(抓取、移动、旋转这些基本动作),唯一的区别就是接口设计不同。这样对比才公平,排除了"换了个更聪明的大脑"这种干扰因素。

结果整理成一张表,挺震撼的。

在LIBERO-PRO上,成功率从83%涨到94%,每个成功完成的任务平均消耗的token从123万降到27.3万,降了4.5倍,花费从2.49美元降到0.79美元。在RoboTwin 2.0上,成功率从60%涨到69.2%,token消耗降了1.7倍。在RoboCasa365的简单任务上,成功率从78.9%涨到86.7%,token降了1.5倍。在更复杂的组合任务上,成功率从34.4%涨到39.4%,token降了2倍。

汇总下来,整体成功率从63.1%提升到71.7%,提高了8.6个百分点,相当于原来的相对提升接近14%。而在两边都能解决的那些任务上,PyRUA-Lean平均只用8.7次AI调用就能搞定,工具调用模式要用17次,整整少了49%;输入token从78.8万降到27.6万,省了65%;花费从1.63美元降到0.74美元,便宜了2.2倍。

这里有个细节值得多说一句。研究人员统计发现,在PyRUA-Lean独自能解决、工具调用失败的96个任务里,有52个是因为工具调用模式把允许的调用次数(预算)用光了,还没做完任务就被迫停下。这说明预算有限的情况下,把每一步决策"省"下来,直接转化成了更多能完成任务的机会,这是一种很朴素但很有说服力的因果关系:省下来的每一次调用,都变成了多做一步正事的机会。

去掉AI模型和操作指南之后,省钱效果还在不在

研究团队没有止步于主结果,他们还做了一系列拆解实验,想搞清楚这套省钱机制到底靠不靠谱,会不会只是某种巧合。

第一个拆解实验是去掉VLA策略

VLA策略:全称Vision-Language-Action,是一种专门训练出来、能直接把视觉输入转换成机器人动作的神经网络模型,相当于给机器人装了一个"看图就能动手"的专用技能包,论文里用到的π0.5、LingBot-VLA、RLDX-1都是这类模型。

去掉这个技能包之后,机器人只能靠最基础的移动、抓取这些动作一步步拼凑出复杂行为,难度明显上升。但数据显示,就算没有VLA模型帮忙,PyRUA-Lean依然领先:在RoboTwin 2.0上,没有VLA加持时,PyRUA-Lean的成功率是68.8%,工具调用模式只有42.8%,足足差了26个百分点。研究人员观察这些案例时发现,PyRUA-Lean靠的是自己写代码拼出来的"逼近、控制夹爪、检查状态"这一整套逻辑,相当于自己造了一个简化版的技能包。

第二个拆解实验是去掉操作指南

操作指南:给AI的一份关于具体任务场景和常见注意事项的说明书,相当于新员工入职时拿到的那本"岗位操作手册"。

有意思的是,去掉指南之后,效果并不是一边倒的。在RoboTwin 2.0上,去掉VLA模型之后再去掉操作指南,工具调用模式的成功率反而从42.8%涨到了60.4%。这个结果提醒我们一件事:操作指南不是放之四海而皆准的加分项,有时候指南里的某些假设反而可能干扰模型的判断,这也是整篇论文里少有的"不按常理出牌"的发现,研究者也坦诚地写出来了,没有回避。

说到这我想起另一个很朴素的类比。一份详细的说明书对新手来说往往是救命稻草,但对一个已经上手的老手来说,有时候说明书里一些过时或者过度具体的规定反而会束缚他本来更灵活的判断。这不是说明书没用,而是提醒我们,"给更多信息"不等于"给更好的决策",有时候信息量和决策质量之间的关系,比我们想象的要复杂。

这套方法目前还没解决什么问题

论文作者在文章末尾很诚实地列出了这项研究的局限。整个实验只用了GPT-6 Astra这一款大模型,换成别的大脑会不会有类似的效果,目前还不知道。所有测试都是在模拟环境里跑的,没有在真实机器人上验证过,真实世界里的噪声、延迟、物理误差会不会打破这套逻辑,也是未知数。而且每个任务只跑了一次,没有测试多次重复运行时结果的波动性有多大。

另外,研究团队也坦承,他们没法完全拆解清楚"程序化组合""持久化状态""选择性反馈"这三个设计到底各自贡献了多少,只能从整体上证明这套接口设计比传统方式更好。这其实是很多系统性研究都会遇到的难题,当你改动的是一整套交互方式而不是单一变量时,想要精确归因每个子设计的贡献,本身就很难做到。

写在后面

读完这篇论文,我最大的触动是,原来AI系统的效率问题,很多时候根本不在"模型聪明不聪明",而在"信息怎么传递"这件事上。我们总习惯性地认为,升级AI就该换更强的大模型,但这篇论文用实打实的数据证明,同样一个大脑,换一套"问问题的方式",效果能差出好几倍。

论文里那个摩卡壶的案例我反复看了好几遍。两个系统用的是同一个AI大脑,面对的是同样的失败(壶掉了),一个系统选择反复调用抓取模型硬刚,试了四次放弃;另一个系统选择自己写代码读取点云、拟合平面、算出朝向,现场发明了一个解决方案。这不是因为后者的AI更聪明,而是因为它手里有一把"能自己造工具的工具",前者手里只有固定的几个按钮可按。这让我想到,很多时候限制我们解决问题能力的,不是智力,而是我们能调用的"工具的灵活度"。

还有一个细节我觉得值得单拎出来说。研究人员统计发现,去掉操作指南反而让某个场景下的成功率提升了接近18个百分点。这个结果和我们平时的直觉是拧着的,我们总觉得给的信息越详细越好,但这篇论文提醒我们,过量或者不恰当的指导信息,有时候反而是一种负担。这不只是机器人研究里的问题,放在任何需要做判断的场景里,这个道理可能都成立。

这项研究真正让我意外的地方是,一个看起来像是"工程优化"的接口设计改动,居然同时在成功率和成本两个维度上都占了便宜,而不是常见的"鱼与熊掌不可兼得"。这种双赢的结果在研究里不算多见,也正因为如此,它背后的逻辑才更值得琢磨清楚。

如果机器人以后真的要走进千家万户,帮我们洗碗叠衣服收拾屋子,它每天要执行的任务可能是几十次甚至上百次。那时候,每次任务省下来的那几毛钱、那几次调用,乘以千千万万个家庭,乘以每天重复的次数,会是一笔什么样的账?这个问题,这篇论文没有回答,但留给了我们去想。

Q&A

Q1：PyRUA-Lean是什么？

A：PyRUA-Lean是北京大学等机构提出的一套机器人控制接口,它让AI通过写Python代码来连续完成多个动作并自主检查结果,而不是像传统工具调用那样每走一步就要重新请教一次AI大脑,从而大幅减少了AI调用次数和图片传输量。

Q2：PyRUA-Lean比传统工具调用方式好在哪？

A：在700个模拟任务测试里,PyRUA-Lean把整体任务成功率从63.1%提升到71.7%,同时在两种方式都能完成的任务上,AI调用次数减少了49%,消耗的token减少了65%,花费也便宜了2.2倍,实现了既省钱又成功率更高的双重收益。

Q3：PyRUA-Lean省钱的关键原因是什么？

A：研究发现省钱的主要原因是大幅减少了AI调用次数,而不是单纯减少每次看到的图片量。实验对比显示,如果只让传统工具调用方式按需返回图片而不改变调用次数,成功率反而从83%降到68.5%,token消耗几乎没变,说明真正该省的是决策次数本身。