你大概见过这样的视频:一个机器人从冰箱里拿出鸡蛋,单手磕在锅沿上,蛋黄落入煎锅,动作行云流水。评论区一片"具身智能要来了"。
然后你关掉视频,去厨房自己煎了个蛋。
这两件事之间隔着什么,几乎没有人系统量过。而2026年10月放到arXiv上的这份报告,做的正是把视频里的炫技和厨房里的现实摆进同一个实验台,看看差距到底有多大。报告由商汤日日新、大晓机器人、Ropedia、南洋理工大学、东京大学联合完成,题目问得很直接:GPT-6-Astra,到底有没有达到具身智能?
先说结论的轮廓,因为它有点反直觉。
在这些主流机器人基准测试上,GPT-6-Astra几乎把所有记录打穿了。LIBERO系列接近100%,SIMPLE 98.8%,DexJoCo 87.3%,RoboDojo 81.9%,十二个基准里绝大多数都压过了人类工程师手工调出来的专用模型。如果只看这张成绩单,你会觉得问题已经解决了。
但当同一个模型被搬上真实的八台机器人、面对一个会持续变化的家,它的失败方式暴露了另一种东西:它会打开冰箱拿牛奶,然后去端水果,冰箱门从第300秒一直开到了第765秒。它会把灶台上的火打开,看着鸡蛋凝固,然后用八秒钟做出关火的决策,等火真正被关掉时,蛋已经焦了。
作者给出的判断是:GPT-6-Astra已经跨过了"具身能力"的门槛,但还没跨过"实用具身智能"的门槛。
这两个词的区别,就是这篇文章想讲清楚的事。
要理解这份报告的分量,得先知道2026年这个领域的样子。过去十年,机器人操作的主流做法是给每个任务、每种机器人训练一个专用策略。想让它叠衣服,就录几百条叠衣服的示范;想让它插插头,就录几百条插插头的示范。这类模型叫视觉语言动作模型,简称VLA。
VLA*:Vision-Language-Action model,把"看"和"理解语言"的模型接上一个"输出动作"的脑袋,用大量人类遥操作示范训练出来的机器人专用策略。
这条路在特定任务上很强。π0.5在DexJoCo上的成功率是40.3%,在SIMPLE上是92.5%。数字不难看,但代价是每换一个任务就要重新采数据、重新训练。而GPT-6-Astra这类通用模型的出现,让一个自然的问题浮出水面:如果一个通用大模型本身就能当控制器用,还需要那么多专用策略吗?
这个问题不好回答,因为几乎所有基准测试都是为专用策略设计的。它们默认你有训练数据、有明确的成功判定、有充足的时间。把通用模型扔进这种测试,测出来的到底是模型能力,还是"它有多会利用考试规则"?
这份报告的切入方式,是把考试规则先调到最宽松,看看天花板在哪里;再把规则调回真实世界,看看落差在哪里。
第一个设计决策,也是全文争议最大的一处,是允许模型使用上下文学习。
上下文学习*:in-context learning,简称ICL。模型权重完全不动,只是把任务的训练示范、笔记、可执行代码放进它的上下文里,让它"临场翻资料"。
具体做法是这样的:在测试之前,模型先"学习"一遍这个任务的训练数据,然后自己写一堆东西出来,包括任务分几步、每步的要点、示范轨迹的坐标文件、示范画面的截图、能直接跑的Python辅助代码、以及"如果失败了怎么办"的补救步骤。这些材料被打包成一个只读的知识包,冻结起来,之后每个测试回合都带着这个包上场。
这里有个细节值得说:报告明确写了,组织成这六个部分的结构不是作者规定的,是模型自己在十二个不同的基准上反复做出来的同一套东西。它没有被要求写"元数据与溯源",但每个包里都有。
为什么允许这样?作者的理由很朴素:传统的VLA训练时能拿到这些示范,凭什么通用模型不能?如果不给,测的就不是同一种信息条件下的能力对比。
生活里这个场景很像一种人:新手医生和资深医生的差别,很多时候不在脑子快慢,而在于资深医生那本翻烂了的笔记本。你让他空手上台,他也会慌。给他十分钟翻自己的笔记,他立刻判若两人。知识包就是这本笔记,它是外部记忆,不是新长出来的本事。而它的问题也正在这里:笔记记得再详细,遇上笔记里没写过的病,照样抓瞎。
这就是为什么报告在RoboDojo的Open组上看到了明显的掉队。Open组的八个任务没有任何专属示范,只能共用从其他四组学来的知识包,结果它的成功率是所有组里最低的。
第二个设计决策,是把执行预算放宽到原来的十倍。
执行预算*:benchmark规定的最大交互步数,每一步都是"看一眼、动一下",超了就判失败。
逻辑是:模型在过程中经常能发现动作失败了,然后改策略、再试。但如果步数上限卡在那儿,它还没来得及补救,回合就结束了。所以作者允许它用十倍的步数继续同一个回合,历史记录和环境后果全部保留,不重置。
效果非常显著。RoboDojo的成功率从27.6%涨到81.9%,差不多三倍;Bench2Dex从25.6%涨到61.5%,翻了一倍多。图4里那十二条曲线,基本都是一条陡峭的上升线,然后在某个点变平。
但这个数字得配着代价一起看。看图的第五张,左边是每个任务的token消耗,右边是时间。BEHAVIOR一个任务要烧掉七十多兆token和四百多分钟,RoboDojo在十倍预算下单个回合平均要跑三个多小时。
报告用了一句非常直白的话估算成本:1M token约等于1美元。那么BEHAVIOR那个任务单次就是七十多美元,还没算硬件和人工。而且这还是在仿真里,环境会暂停等你思考。
用类比说这件事:这就像你请了一位解题能力极强的顾问,他每次都能答对,但每道题要坐着想三个小时,而且这三小时按小时计费。老板不会因为答案对就满意,老板会算这笔账划不划算。更麻烦的是,在真实世界里,你思考的这三小时里,锅里的菜还在烧。
十个百分点的成功率提升,如果要用十倍的时间和成本去换,这个交换在商业上几乎不成立。但如果不用,你就看不到模型真正的能力边界。这是一个两难,报告没有回避,只是把两端都摊开了。
那是不是给了知识包、给了无限步数,模型就真的能干活了?
报告接下来做的事,是把模型拆开看:到底哪个部分在起作用。
他们用π0.5作为低层的"手",GPT-6-Astra作为高层的"脑",试了三种协作方式。第一种是放手不管,让VLA自己跑,成功率6.91%。第二种是开环指挥,GPT告诉VLA去做子目标,自己不再看,成功率5.83%,反而更差。第三种是闭环监督,VLA先提出动作,转成末端执行器的位移,GPT看过之后再决定接受、修改还是拒绝。
闭环这一档,成功率跳到了23.61%,比开环高了将近二十个百分点。但每次动作都要请示一遍,烧掉了766万token。如果把审批的颗粒度放粗,一次看四个动作再批,token降到280万,成功率还略微升到了25.83%。
系统一与系统二*:借自认知心理学的说法。系统一是快速、本能、不假思索的动作,系统二是缓慢、审慎、会复盘的动作。这里的系统一是VLA,系统二是GPT-6-Astra。
再叠加上知识包,成功率冲到54.17%,是全部配置里最高的,但token也冲到了1933万。
生活化类比:想象一家餐厅,主厨手脚极快但只按菜谱做,从不抬头看客人。你派一个经验丰富的经理站在旁边,每道菜出锅前尝一口再决定端不端。菜确实好吃了,但经理每尝一口都要停下来,后厨的节奏全被打乱。于是你改成每四道菜抽查一次,效率回来了,质量也没掉。可如果今天来了重要客人,经理恨不得每道菜都看,出品最稳,他也最累。这就是闭环的颗粒度问题,它不是一个技术细节,而是一个关于"多频繁地干预"的运营决策。
跑得更远的发现是动作表示的问题。让模型直接输出关节角度,成功率掉了5.84个百分点,掉到9.72%。让它输出"往那个方向移动几厘米"这种方向性指令,成功率涨了2.5个点。固定一次执行四个动作,成功率掉4.17个点,但token只要43万;让模型自己决定每次执行几个,成功率涨了4.44个点。
这个现象被作者称为表征鸿沟。
表征鸿沟*:多模态模型擅长的是"语义层面"的推理,比如"把手伸向杯子",但底层电机需要的是精确到毫米和弧度的关节角度。两者之间存在一层翻译损耗。
这个发现的实践含义很清晰:别逼着大模型去做微操,让它说人话,把毫米级的活交给底层的控制器。
仿真里再漂亮,搬上真机就是另一回事。报告用了八台真实机器人,从单臂到人形,覆盖五种形态,全部零样本,没有任何示范。
零样本*:zero-shot,模型对眼前的机器人、任务、环境完全没有先验经验,只靠人类写的说明和它自己的通用知识直接上手。
结果分层非常清楚。刚性抓放特别可靠,18次试验成了17次,和仿真里表现一致,比如叠积木6次全中,套容器3次全中。双臂协作也还行,12个任务14次试验全过,包括折毛巾、折T恤、插花。
但可变形物体开始崩,叠布在Franka 3上是4次成2次,在PiPER上3次全成,标准还不统一。精确接触彻底崩,插插头三个平台加起来11次试验,一次都没成。
插头任务特别值得看。Franka 3上,夹爪垂直握着插头从上方下去,腕部相机跟着夹爪一起动,永远看不见插座的孔,结果插头掉在插座旁边。而在双臂PiPER上,同样的困境出现了,但模型做了一个动作:它把空闲的那只手臂移过去,直到腕部相机对准了插孔,然后才完成插入。
这就是主动视觉。
主动视觉*:把"把相机移到能看清的位置"当成一个动作来做。人类的这个动作是本能,机器人需要自己发现。
这个行为几乎不可能从人类示范里学到,因为人演示的时候是站在自己的视角看,很少会为了看清而挪动相机。只有真正零样本、只通过机器人自己的相机看世界的智能体,才可能被迫摸索出这一招。
真机最难的部分在于,仿真里那些免费的资源,现实中都要收费。步数在这里不是免费的,每一次失败的尝试都可能触发保护性停机。Franka 3折薄布的时候夹爪碰到桌面,机器人直接停。PiPER插插头两次撞进J6关节故障。天机M6S的灵巧手在反复抓取时关节堵转,温度飙到62度自己触发了保护。Galaxea R1 Pro躯干过热,两次采集花朵的试验全部终止。
时间也是钱。在Unitree G1上,单次操作试验要跑一个多小时,其中90%的时间模型在思考,API请求的墙钟时间占了总时长的88.8%到91.7%。
报告还记录了一个非常有意思的失败:G1执行"把毛绒玩具拿起来再放下",有一次成功了,但所有26个手臂动作返回的状态都是"未到达目标"或"超时",最终误差中位数0.07弧度,最大0.19弧度。也就是说,物理上有用的动作发生了,但严格按关节目标看,它一次都没到达。
这条观察的分量不轻。它说明在真机上,"指令被执行了"和"任务完成了"之间的因果关系比仿真里松得多。
八台机器人跑完,结论落在了两个非常具体的缺口上:知识包在真实部署里没有,人类写的说明质量参差不齐,天机手上没有预定义的抓取脚本时3次全败,有脚本时3次全成。以及,时间换成功率的交易在物理世界不成立。
那什么才是真正该被测量的东西?
报告的最后一部分是整篇里最有野心的地方,它提出了三个原则,并搭了一个原型。
第一个原则是,任务应该从人的需求出发,用人会说的话说出来,而不是从机器人能做什么倒推出来。作者用一张图对比了两种任务描述:左边是BEHAVIOR-1K里的"煎培根",一个由多个谓词构成的目标公式,只要 bacon 都 cooked 了,冰箱门关着,就算成功。右边是"能帮我做顿早饭吗",好几种可接受的结果,烤面包得0.5分,加蛋0.8分,再加咖啡1.0分,而且分数会随着时间衰减,因为住在家里的人15分钟后要出门。
这个对比很锋利。左边那种目标,你可以把培根煎到焦黑,只要温度曾经达到过阈值,它仍然判定为熟。而且它不要求你关火。
第二个原则是,不给任何专属示范。让智能体自己去摸清不熟悉的物体和机关,自己发现说明书上没写的东西。这个原则直接针对前面那个发现:有了示范,模型就不需要理解物体的运作方式,它只要模仿就行。
第三个原则是,世界不会等你思考。
这条最有意思。在仿真里,模型思考的时候环境是暂停的,所以RoboDojo里那些标准预算对应的实际动作时间是8到76秒,而模型平均算了55分钟。在真机上,它思考的每一秒,灶上的火都在烧。
所以在原型里,从一次观测到下一条指令之间的时间,都算在上一动作的执行期里,跟真机一样。评分要观察整条轨迹,包括模型宣布完成之后的那段时间,因为最后的状态快照看不见"曾经熟过但后来焦了"这件事。
报告用Unity的仿真器搭了一个一居室,把公开资产和户型图拼起来,由编码智能体按真实比例摆放物品,把每个部件绑定物理属性,包括铰链、液体、布料和螺纹。
然后让GPT-6-Astra带着AgiBot G2零样本去做家务。五个失败案例,每一个都很扎心。
整理书桌时,它抱着手里的书移动,手肘把显示器推歪了,还碰掉了一堆东西。这个动作本身没有错,错在它只盯着手里那一件。把杂货放进冰箱时,它打开门塞牛奶,然后转身去端水果,那扇门从第300秒开到了第765秒。做早饭时,它一只手臂撑着冰箱门,但站位选得让它够不到里面的培根,一松手拿,门就自己关上了。水龙头开着一路到34秒时水漫过水槽流到地上。煎蛋时从煎好到真正关火中间隔了90秒,蛋已经焦了。
作者对这三个失败的归因很精确:它关注手里的东西,失去对整个家的追踪;没有示范时它搞不清陌生机关怎么动、自己的身体该放哪儿;它的决策建立在会过时的观测上。
生活化类比:这就像一个刚搬进新家的合租室友。他做饭很好吃,但他做完饭不关煤气,洗完澡不关水,用烤箱忘了把门合上。你不能只教他"把鸡蛋煎熟",你得让他知道"煎完要关火,因为厨房还没塌"。现在的基准测试只考第一件事,这也是为什么它在这种考试里能拿99分,却在真实厨房里差点把房子点了。
这个思路也不只在具身领域成立。自动驾驶这些年经历的转变其实是同一件事:从"能不能识别行人"到"在预测未来3秒的轨迹时,你的决策延迟算不算在安全边际里"。评测的重点从"做对了什么"转向了"在你思考的那段时间里,世界发生了什么"。
报告没有回避它自己的局限。真机上只跑了几次试验,统计上说明不了可靠性;仿真里的评判依赖物理引擎的准确度;世界不停下来时的算力成本会非常惊人。这些都是开放的。
但它至少做了一件事:把"具身智能"这个被视频和宣传语撑大的词,拆成了可以被测量的一格格台阶。
看那张图1,十二个基准上的成绩,从28.9%到100%的跨度,几乎覆盖了从"完全不会"到"看起来完美"的全部区间。而真正的信息不在那个100,在于那些没被跑到100的格子,以及跑到100所付出的代价。
如果下一次你再刷到一段完美的机器人视频,可以试着问一个问题:它有没有告诉你,为了那10秒的动作,它思考了多久,烧了多少钱,以及在这10秒里,还有哪些东西被它碰倒了。
我真正想问的是另一个问题。当一个模型的成绩单已经接近满分,而它的失败全都是"忘了关冰箱门""没发现水溢出来""煎完蛋没有及时关火",这些失败还算不算技术问题?还是说,我们终于把机器人逼到了必须学"责任感"这一步,而这件东西,比任何基准测试都难定义,也更难通过增加预算来解决。
Q&A
Q1:GPT-6-Astra在12个基准测试上的成绩如何?
A1:表现极强。LIBERO系列接近100%,SIMPLE达到98.8%,DexJoCo 87.3%,RoboDojo 81.9%,绝大多数都超过了此前专用模型的成绩。但前提是允许它用上下文学习翻阅训练示范,以及把执行步数放宽到十倍。在RoboLab这种没有训练数据的测试上,成功率只有57.1%。
Q2:上下文学习知识包里有什么内容?
A2:模型会自己整理六类材料:任务指引、运动参考轨迹、视觉参考截图、可直接运行的Python辅助代码、检查与补救步骤、元数据与来源说明。这套结构不是作者规定的,是模型在十二个基准上自己反复写出来的同一套。知识包冻结后每个回合都带着上场,权重全程不动。
Q3:GPT-6-Astra在真实机器人上失败最多的是什么?
A3:精确接触类任务最差。插插头在三个平台共11次试验全部失败。可变形物体也不稳定,比如叠布在Franka 3上4次只成2次。另外长时序任务中它会丢失对环境的追踪,比如打开冰箱门拿牛奶后转身去端水果,门一直开到765秒。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。