机器人叫它"捡起最大的第二个方块"，它却抓错了旁边那个

去年我在看一段机器人操作的演示视频，一个机械臂稳稳当当地从桌上一堆瓶子里挑出了指定颜色的那个,动作干净利落，看起来像模像样。评论区一片惊叹,这机器人也太聪明了吧。

但如果你把指令换一句,比如说"拿起从左边数第二排、从右往左数第三个瓶子",同一个机器人会怎么样?

浙江大学等机构的研究者们做了这件事,答案是,它大概率会抓错。

这就是这篇论文想戳破的一个假象。现在市面上评测机器人智能的基准测试,大多是在给机器人"送分",场景干净,任务简单,指令直白。真正复杂的日常场景,反而没人认真测过。

**这件事到底难在哪**

先说说现在这些评测基准的现状。你可能听过LIBERO、RLBench、RoboCasa这些名字,它们是机器人研究领域里常用的"考试卷"。

VLA模型:全称是Vision-Language-Action模型,简单理解就是一种能看懂画面、听懂语言指令、然后控制机械臂做动作的AI系统,是目前机器人智能的主流技术路线。

问题是,这些"考试卷"普遍有几个漏洞。第一,它们很少专门考察那种需要精细空间推理的题目,比如让机器人从一堆长得差不多的物体里,通过距离、方位、序号这些抽象线索找出目标。第二,大多数任务都是短流程的,拿起来放下去就结束了,很少测试那种需要连续执行五六个步骤、还要记住之前发生了什么的长任务。第三,几乎没有基准会设置难度梯度,你没法知道机器人的能力是在什么复杂度上开始崩溃的。

论文里给了一组对比数据。LIBERO只有130个任务,全部集中在1个机械臂平台上;RoboTwin 2.0覆盖了5种机械臂但只有50个任务;MIKASA-Robo专门测长程任务但完全没有多难度设置。而这篇论文提出的新基准,RoboSPA,一口气覆盖了10个能力类别、56个基础任务、280个任务变体,收集了52.7万条轨迹,累计997小时的视频数据。

这个规模差异不是简单的"数量更多",它意味着研究者第一次能把"机器人在什么难度上开始失败"这件事量化出来,而不是只给一个笼统的成功或失败。

**把考题拆成两大类,再拆出十个能力项**

RoboSPA的设计思路挺清楚,先划出两个大维度,再往下细分。

第一个维度叫精细空间推理,考的是机器人能不能在复杂的空间关系里找准目标。这里面分了五个子类:几何属性认知,考的是能不能按大小、高度、长度这些形状线索挑对象;空间距离估计,考的是能不能判断谁离谁更近或更远;规范位置索引,考的是能不能理解"第几行第几列"这种坐标式指令,而且计数方向还会变来变去;指代关系推理,考的是能不能根据一个参照物找到另一个目标,比如"挨着中间那块肥皂后面的那个";跨视角推理,考的是能不能站在别人的角度理解方位,比如从对面看过来的"最右边"其实是从机器人自己视角看的"最左边"。

第二个维度叫长程流程规划,考的是机器人能不能完成需要多步骤、有先后逻辑的任务。这里也分五个子类:重复流程执行,考的是能不能数清楚自己按了几次按钮该停了;无序执行,考的是能不能不重不漏地完成多个不分先后顺序的子目标;有序执行,考的是能不能严格按指定顺序做事;复合动作协调,考的是能不能在一个长任务里切换不同类型的动作;记忆密集型规划,考的是能不能记住之前看到过的信息,然后在信息被遮挡后还能正确使用。

这十个类别不是随便拍脑袋想出来的,是十名研究生分头设计、互相审核出来的,每个任务背后都有专门的执行脚本来判定成功与否。

这里有个设计特别值得说一说,就是难度分级的方式。空间推理类任务是靠增加候选物体的数量来加难度的,比如从3个瓶子里挑一个变成从10个瓶子里挑一个;流程规划类任务是靠拉长动作序列来加难度的,比如从两步任务变成五步任务。

这就好比考驾照,新手上路先练空地上停车,只有一个车位标线,难度不大。真正难的是市区窄巷倒车,周围停满了别的车,你既要判断距离又要顾及好几个方向。RoboSPA做的事,相当于把"空地停车"和"窄巷倒车"都设计成同一套考试的不同难度级,这样才能知道司机到底是真会开车,还是只会背固定路线。如果不这样分级,你测出来的成功率只是个平均数,根本看不出机器人的能力上限在哪里,也看不出它是从哪一步开始垂头丧气认输的。

**四个当红模型,在这套考卷上考了多少分**

论文选了四个具有代表性的VLA模型来跑分,分别是RDT、GO-1、π0.5和X-VLA,都是目前机器人操作领域比较主流的开源或半开源系统。

评测方式是,每个基础任务用五个难度等级的数据训练一个模型,然后分别在每个难度上测试100次,统计成功率。

结果挺扎心的。表现最好的π0.5,在最简单的第一级难度上,精细空间推理任务平均能拿到39.2%的成功率,长程流程规划任务能拿到71.2%。可一旦难度拉到最高的第五级,这两个数字分别掉到21.4%和23.1%。X-VLA的情况类似,从41.9%和58.8%掉到23.9%和15.9%。而RDT和GO-1本来就不算强,最难那一级的整体平均成功率只有6.9%和8.8%。

这意味着什么,意味着如果你让最强的那个模型去做十个最难的任务,它成功不了七八个。

论文里还专门提到,长程流程规划里有个类别叫记忆密集型规划,所有四个模型在最高难度上的成功率都是0%。零。这个任务要求机器人先观察一批物体的摆放,记住它们的颜色或方位,然后等物体被遮挡之后,凭记忆去操作对应的目标。这对人类来说也不算太难,可对目前的VLA模型来说,基本等同于失明后立刻失忆。

**光看成功率不够,得看它错在哪一步**

论文的一个巧思是,除了成功率,还引入了两个诊断性指标,专门用来拆解失败的原因。

第一个叫对象归一化目标准确率,英文缩写ONTA,思路是借鉴了统计学里的科恩卡帕系数。它要解决一个问题,就是候选物体越多,瞎猜蒙中的概率越低,这样直接看成功率会不公平。比如从2个物体里瞎选,蒙中概率是50%;从10个物体里瞎选,蒙中概率只有10%。ONTA把这个"瞎猜基线"给刨掉了,如果得分是0,说明模型的表现和瞎猜没区别;如果是负数,说明它比瞎猜还差。

这个指标算出来的结果比原始成功率更让人皱眉。RDT和GO-1在大多数空间推理任务和难度级别上,ONTA都是负数,意味着它们的目标选择能力甚至不如随机乱选。π0.5和X-VLA稍好一点,但很多情况下也只是勉强超过瞎猜水平。这说明这些模型的成功率虽然不是0,但很大一部分靠的是运气,不是真的看懂了空间关系。

第二个指标叫进度分数,英文缩写PS,专门用来看长程任务完成了多少比例,而不是非黑即白的成功或失败。按论文的公式算,如果一个任务有5个子步骤,机器人完成了3个,进度分数就是60分,即使最后没有全部完成也能体现出这部分努力。

这个指标揭示了一个有意思的现象,进度分数普遍比成功率高不少。也就是说,模型往往能完成流程的前半段,但越到后面越容易翻车,原因包括执行动作时手滑没抓稳、忘了顺序、或者干脆重复做已经做过的事。

**六种失败方式,像六种性格缺陷**

研究者对π0.5和X-VLA这两个表现最好的模型,又做了一轮更细的错误归类,总结出六种典型失败模式。

在空间推理任务里,最主要的问题叫目标定位错误,占了整体错误的七成到八成。意思是机器人压根就没搞清楚该抓哪个物体,选错了目标,和执行动作是否准确没关系。相对少见的是目标执行错误,这种情况下机器人其实认对了目标,但抓取动作本身出了问题,比如手没对准或者力道不够。

这就好比一个人明明认得出朋友的脸,但握手的时候老是握不到点上。而绝大多数情况反而是,他根本没认出对面站的是谁,和一群陌生人搞混了。

在长程规划任务里,情况更复杂一些。占比最大的错误类型是操作错误,大约占一半,指的是某个中间步骤的动作本身没执行好。剩下的错误分布在时序错误、记忆错误和冗余重复错误上,各占一成多。

具体到不同任务,表现出的性格还挺不一样。重复流程任务里主要出现冗余重复错误,说明模型不太会数数,可能只根据眼前这一帧画面决定下一步动作,而不是记着自己已经按了几次。无序执行和复合动作协调任务里主要是操作错误,说明多子目标场景下的低层次执行是个大坑。有序执行任务里除了操作错误,剩下的主要是时序错误,说明模型很难把握"先做这个再做那个"的顺序逻辑。记忆密集型任务里绝大多数是记忆错误,这个前面已经说过,是所有模型的共同软肋。

这套失败归类挺有价值的一点是,它证明RoboSPA里不同类别的任务确实能测出不同的能力短板,不是所有任务都在考验同一件事。这对后续想改进模型的人来说,相当于拿到了一份体检报告,知道该往哪个部位重点治疗。

**数据从哪来,机器人长什么样**

RoboSPA的数据是在SAPIEN仿真器和RoboTwin 2.0框架上构建的,一共用了120个物体大类、581个物体变体,涵盖瓶子、碗、锤子、订书机、玩具车等日常用品。

数据采集覆盖了五种机械臂平台,包括Aloha-AgileX、ARX-X5、Piper、Franka和UR5,这些平台的机械结构、工作空间和摄像头视角都不一样,但用的是同一套任务语义和成功判定标准。

论文额外做了一组多机械臂对比实验,选了十个能力类别里各挑一个代表任务,分别在五种平台上训练测试。结果显示,不同平台的绝对表现差异挺大,但一个规律始终不变,就是最高难度的成功率永远低于最低难度。这说明难度设计带来的挑战不是某个特定机械臂的毛病,而是一种普遍存在的能力短板。

数据集还专门做了干净场景和域随机化场景的区分。干净场景里只有任务相关的物体,域随机化场景则加入了背景变化、桌面杂物、桌子高度变化和光照变化这四类干扰。这就像考试既要有安静的考场版本,也要有背景嘈杂、旁边有人说话的版本,后一种更接近真实世界里机器人实际会遇到的情况。

论文还专门测了一组"简化版"任务作为对照,比如只靠颜色区分目标、用机器人自身视角而不做跨视角转换、固定计数方向而不做变化。这些简化任务的成功率明显更高,比如颜色区分任务在各难度上都稳定在七十多分,方向索引固定的任务甚至能到八十多分。这个对比恰好证明了,RoboSPA刻意设计的那些复杂情境,才是真正逼出模型软肋的地方,而不是随便加个难度标签就算数。

**这件事往后会怎么走**

论文的结论部分提得比较克制,没有说RoboSPA能彻底解决什么,只是说明现有VLA模型在复杂空间关系、精确底层执行、记忆密集型规划这三方面还有很大差距。

作者也坦率地承认了几个局限。所有任务都是仿真环境里做的,仿真和真实世界之间存在差距,直接迁移到物理机器人上未必顺利。任务范围局限在桌面操作,没有涉及柔性物体、人机交互这些更复杂的场景。这些都是留给后续工作的空间。

Q&A

Q1：RoboSPA是什么?

A：RoboSPA是浙江大学等机构提出的大规模机器人操作数据集和评测基准,专门用来诊断VLA模型在精细空间推理和长程流程规划两方面的能力,覆盖10个任务类别、56个基础任务、280个难度变体,共52.7万条轨迹。

Q2：目前的VLA机器人模型在RoboSPA上表现怎么样?

A：表现最好的π0.5模型在最难的第五级难度上,整体平均成功率只有22.3%,而记忆密集型规划任务上所有四个测试模型的成功率都是0%,说明当前模型在复杂空间关系和长程记忆任务上还有明显短板。

Q3：RoboSPA和以前的机器人评测基准有什么不同?

A：以前的基准比如LIBERO、RoboCasa大多任务简单、缺少难度分级,RoboSPA首次系统性地设置了五级难度梯度,并引入对象归一化目标准确率和进度分数两个诊断指标,能更细致地分析模型失败在哪一步。