机械手臂终于学会"看深度"了——KAIST联合POSTECH研究团队让机器人规划与执行真正说同一种语言

这项由韩国科学技术院（KAIST）人工智能研究生院联合浦项科技大学（POSTECH）人工智能研究生院、Holiday Robotics以及KRAFTON AI共同完成的研究，于2026年发表在IEEE/RSJ国际智能机器人与系统会议（IROS 2026）上，论文编号为arXiv:2606.31329。有兴趣深入了解的读者可通过该编号查询完整论文。

机器人有一个很古老的难题，就好比你在用电话指挥一个朋友帮你整理房间，你说"把那个红色杯子放到架子第二层"，但你朋友戴着特殊眼镜，只能看到房间的一张平面地图，没有任何高度信息。结果他虽然知道杯子在哪个方向，却完全不知道那个架子有多高，最终把杯子悬在空中、挂在墙上，或者在桌面上乱蹭一通。这个荒唐的困境，正是当今绝大多数机器人操作系统每天都在经历的现实。这项来自KAIST的研究，就是要从根本上解决这个问题。

一、机器人的"左手不知道右手在做什么"困境

要理解这项研究为什么重要，先得搞清楚现代机器人操作系统是怎么工作的。目前最先进的机器人操作系统通常分成两层：上层负责"想清楚要做什么"，下层负责"真正动起来"。

上层叫做高级规划器，通常是一个强大的视觉语言模型——你可以把它理解为一个读过无数书、见过无数图片的超级大脑，它能看懂图片、理解语言，能告诉机器人"你应该先抓那个蓝色小车，然后把它放进篮子里"。下层叫做低级控制器，它负责把上层的指令变成一系列具体的关节运动，让机械臂真正动起来。

这种分层设计有个重要的好处：上层大脑可以用海量的图片、视频、语言数据来训练，不需要实际的机器人操作数据，泛化能力很强；下层控制器则专注于精准执行，可以利用深度相机获取的三维点云数据（你可以把点云理解为用密密麻麻的空间坐标点描述出来的三维场景地图）来精确感知空间。

然而问题来了——上层大脑习惯输出的是二维平面坐标，就像在照片上画标记一样，它会在图片上点出"先在这里抓，再移动到那里放"的路径点。下层控制器却生活在三维世界里，它需要知道每个点的精确空间位置，包括高度信息。当上层大脑给出的是一张平面地图，下层控制器却需要一份立体地形图时，中间就必须有人来"脑补"缺失的高度信息。

现有系统的做法是：把平面路径点"投影"到三维空间里，方法是查看路径点正下方的场景表面，然后把那个表面的深度值赋给这个路径点。这就相当于，你要描述一条飞在空中的鸟的飞行路线，但却只能把鸟的每个位置都对应到正下方地面的高度——于是原本在空中自由翱翔的轨迹，就变成了紧贴地面的爬行路线。研究团队把这个现象叫做"涂鸦效应"（graffiti effect）——轨迹像喷漆一样贴在场景表面上，无法表达真正的三维运动意图。

这种扭曲的轨迹对下层控制器来说是一场噩梦。控制器根本分不清楚"这是规划好的运动路径"还是"这只是场景里某个物体的表面"，最终导致任务失败。

二、让规划器学会感知深度：3D HAMSTER的核心思路

研究团队提出的解决方案叫做3D HAMSTER（三维层级动作模型用于空间轨迹引导），它的核心思路简单直接：与其让下层控制器去猜测上层规划的真实三维意图，不如让上层规划器从一开始就直接输出三维坐标。

为了让原本只擅长处理二维信息的视觉语言模型学会输出可靠的三维轨迹，研究团队在原有大模型基础上做了三个关键改造，就像给一个只会画平面图的建筑师额外配备了一套测距仪和立体视觉训练课程。

第一个改造是加入专门的深度编码器。原有的视觉语言模型只接收普通RGB彩色图像，而研究团队额外接入了深度相机提供的深度图（深度图就是一张记录了每个像素点到相机距离的图像，深色代表近，浅色代表远，或者反之）。这个深度编码器会把深度图转化成一组特征向量，与彩色图像的特征融合后一起输入给大语言模型主干，相当于给规划器额外配备了一双能感知远近的眼睛。

第二个改造是引入深度重建损失。仅仅把深度信息喂给模型还不够，因为模型输出的是一段文字（轨迹坐标序列），训练信号过于稀疏——就像你只靠考试成绩来学几何，但从来不做作图练习，很难真正建立空间感。为此，研究团队在训练时强制要求模型的深度特征能够重建出完整的深度图：深度特征经过一个轻量级解码器还原出深度图，然后与真实深度图对比，误差越小越好。这个额外的约束让模型必须保持对场景几何结构的整体理解，而不只是记住几个零散的坐标数字。

第三个改造是精心设计的两阶段训练流程。第一阶段只训练深度相关的投影模块和解码器，让深度特征先学会和原有大模型的视觉语言特征说同一种语言，同时不破坏原有模型已经学到的丰富知识。第二阶段再冻住两个编码器，用低秩适配技术微调大语言模型主干，专门训练轨迹预测能力。这种循序渐进的方式就像先让新员工熟悉公司文化，再上岗承担具体任务，避免了两套知识体系的互相干扰。

整个训练用到的数据分成两大类。第一类是"三维能力数据"，包括真实机器人操作数据集DROID、仿真环境RLBench的数据、大型仿真数据集InternData-M1，以及一个空间推理数据集RefSpatial——这些数据都配备了RGB图像和深度图，用于训练轨迹预测。为了让模型学会从二维到三维的映射，每条轨迹样本都提供了三种监督变体：纯二维标注、纯三维标注，以及一种"先预测二维再推算三维"的链式思考格式，鼓励模型学会像人类一样分步推理。第二类是"能力保留数据"，只用普通彩色图像，包括点定位数据集、室内指向数据集、目标检测数据集和通用问答数据集，目的是防止新训练的轨迹预测能力冲掉原有模型宝贵的视觉语言理解能力。

三、下层控制器如何接住这份三维礼物

上层规划器输出了可靠的三维轨迹后，下层控制器如何最好地利用这份信息，也是研究的重点。

研究团队选择了3DFA（三维流匹配动作预测器）作为下层骨架。这个控制器的工作原理类似于一种从随机噪声中逐步"雕刻"出动作序列的过程——给定当前场景的三维点云，它通过多次迭代优化，最终输出一段连贯的机械臂运动指令。

将规划器输出的三维轨迹融入控制器的方式颇具巧思。首先，利用相机的内参和外参（相当于相机的几何校准参数），把轨迹从图像坐标系转换到真实世界坐标系，这样轨迹点和场景点云就处于同一个空间坐标系中。然后，把这些轨迹点直接追加到场景点云里——就像在三维场景地图上插了几面小旗子，清楚标注出机械臂应该依次经过的位置。每个轨迹点还按照时间先后用不同颜色标注，让控制器能区分运动的先后顺序。

为了让控制器能区分"这是轨迹引导点"和"这是场景物体点"，研究团队为两类点分别设置了可学习的身份标签。这就像给同一张地图上的"路标"和"建筑物"用不同颜色标注，地图读者可以立刻区分两者的用途。此外，由于控制器在处理时会对点云进行随机降采样（删减一部分点来减少计算量），研究团队特别设计了保护机制：在降采样时，轨迹点永远不会被删掉，如果需要减少点的数量，只删场景点。这确保了引导信号永远不会在计算过程中意外丢失。

四、三项考试，一一交出答卷

研究团队设计了三项独立的测试来全面检验3D HAMSTER的能力，每项测试都对应一个实际问题。

第一项测试专门评估三维轨迹预测的精准度。研究团队从DROID数据集中挑出148个从未见过的抓取放置任务场景，构建了一个叫做DroidSpatial-Bench的测试基准。给定一张RGB-D图像和语言指令，模型需要预测出机械臂的抓取点和放置点的三维坐标，误差在5厘米以内算通过严格标准，误差在10厘米以内算通过宽松标准。

测试结果颇为鲜明。Google旗下的Gemini 3.0 Pro在严格标准（起点+终点都在5厘米内）下的通过率只有16.2%，Claude的Sonnet-4.6更是只有0.7%，GPT-5.2也只有2.7%，说明这些顶级商业大模型虽然在语言理解上无所不能，但在需要精确深度感知的三维轨迹预测上，几乎完全无能为力。开源模型RoboBrain-2.5-8B表现好得多，在严格标准下达到了39.2%。而3D HAMSTER在同样的严格标准下达到了41.9%，在宽松标准的终点预测上更是达到了82.4%，相比RoboBrain-2.5的74.3%有明显提升。终点的精度尤为重要，因为"把东西准确放到目标位置"往往比"准确抓起来"更难，对深度信息的要求也更高。

消融实验（逐步移除每个模块来测量其贡献）清晰地展示了每个组件的价值：基础的Qwen3-VL-8B模型在严格标准下通过率几乎为零（0.7%）；加入三维轨迹训练数据后，提升到27.7%；再加入深度编码器后，进一步提升到42.6%；最后加入深度重建损失后，终点精度在宽松标准下从75.0%提升到82.4%。三个组件各有贡献、缺一不可。

第二项测试在仿真环境中进行，使用Colosseum基准测试平台。这个平台在RLBench仿真环境基础上，额外设计了14种"扰动"条件，包括改变物体颜色纹理、调整光照、更换桌布背景、改变物体大小、移动相机视角等等，目的是测试机器人系统在各种意外变化下还能不能正常工作。研究团队选择了11个任务，每个任务的每种扰动条件下测试25次，记录成功率。

在没有任何扰动的标准条件下，没有轨迹引导的控制器成功率是53.8%，加入二维轨迹引导后反而降到了49.5%——这个结果很能说明问题：二维轨迹投影产生的扭曲轨迹，不仅没有帮到控制器，反而干扰了它。而加入三维轨迹引导后，成功率提升到62.9%，说明几何准确的引导信号能帮助控制器更好地理解任务。

在各类扰动条件下，三维引导的优势更加突出。在光照变化条件下，三维引导比二维引导高出15.6个百分点；在物体颜色纹理变化条件下，高出11.3个百分点；在背景纹理变化条件下，高出8.7个百分点。这些都是改变视觉外观但不改变几何结构的扰动——恰恰是依赖颜色纹理来推断深度的二维规划器最脆弱的地方，而三维轨迹因为直接编码了空间坐标，不受外观变化影响，自然更加稳健。

唯一一个三维和二维引导表现相同的条件是"所有扰动叠加"，两者都只有7.2%的成功率。但这仍然远超没有引导的0.8%，只是说明当视觉信息被极度破坏时，规划器本身就无法正确定位目标，引导维度再高也无济于事。

第三项测试在真实的Franka Panda机械臂上进行，测试了三类任务：按按钮（需要准确定位三个不同位置的按钮）、倒水（把杯子里的水倒入碗里，需要精准的高度和倾斜控制）、抓取放置（从多种物体中抓取指定物体放入指定碗里）。每类任务还细分了四个泛化维度：语言泛化（用不常见的表达方式描述任务，比如"帮我装满那个盛汤的器皿"而不是直接说"把水倒进碗里"）、空间泛化（用相对位置描述目标或者改变物体高度）、视觉泛化（改变桌布纹理、添加干扰物、改变光照）以及综合泛化（以上条件同时叠加）。为了更细致地评估，研究团队没有简单地用"成功"或"失败"来衡量，而是把每个任务分成四个阶段，每完成一个阶段得25分，满分100分。

真实机器人测试结果显示，3D HAMSTER在三类任务中分别达到了80%、68%和62%的平均得分，全面领先二维引导方案（分别为60%、45%和46%），也领先于同样参与测试的π0.5（一个端到端单体视觉语言动作模型，分别为74%、41%和40%）。π0.5在没有扰动的标准条件下表现很好（按钮和抓放任务都达到100%），但一旦遇到空间变化或视觉变化，就会急剧下滑，在空间变化条件下的倒水任务只剩35%，抓放任务只剩15%。这印证了一个普遍规律：端到端模型往往过度拟合训练时见过的场景外观，泛化能力相对较弱。

倒水任务是三维引导优势最大的任务，整体提升了23个百分点。这是因为倒水需要精确控制杯子在空间中的高度和角度，这种几何精度要求正是三维轨迹能直接编码的信息，而二维轨迹完全无法表达。

五、一张图，两种命运

研究团队在论文中用真实机器人的执行视频做了一个直观的对比。同样的任务——"抓起葡萄，放进粉色碗里"——二维引导系统给出的轨迹从正面看似乎路径清晰合理，但从侧面看就会发现，所有轨迹点都贴在场景表面上，没有一个点真正悬浮在空中描述出手臂应该走的弧线。下层控制器面对这份"涂鸦"式引导，完全不知道手臂应该抬多高，最终任务失败。换成三维引导系统，轨迹点在三维空间中清晰地悬浮在场景上方，描述出一条优雅的拾取弧线，控制器精准跟踪，顺利完成任务。

这个对比揭示了问题的本质：规划器的意图和控制器的行动空间必须说同一种语言。规划器想说"手臂应该从这里提起来，走一段弧线，放到那里"，但二维语言只能说"在图片的这个位置，到图片的那个位置"，深度信息在翻译过程中丢失了。三维语言则能完整传达"在空间的这个坐标，经过这些坐标，到达那个坐标"，信息完整，执行无误。

六、局限与未来

研究团队对这项工作的局限性保持了清醒的认识。目前的系统需要外部RGB-D相机提供深度图，如果能改用单目深度估计（只用普通相机推算深度）就能消除对特殊硬件的依赖。此外，规划器目前只能看一个视角的图像，在杂乱场景或严重遮挡的情况下会丢失信息，未来整合多视角融合会让系统更稳健。最后，目前所有测试都局限在桌面单臂操作任务，是否能推广到移动机器人或双臂协作等更复杂场景，还有待验证。

说到底，这项研究揭示的道理其实并不复杂：当系统的两个部分说的是不同的语言，再强大的个体能力也会在沟通损耗中打折扣。机器人的上层规划和下层控制，本质上是两个需要精密协作的团队，他们共享的工作空间是三维的，那么传递给彼此的信息也应当是三维的。这听起来像是理所当然的常识，但真正在工程上把它实现并验证其价值，却需要精心设计的架构、数据和训练方案。

对于普通人而言，这项研究的影响可能在几年后才会以具体产品的形式出现——家用服务机器人能更准确地帮你倒一杯茶，工业机器人能更可靠地在复杂光照下操作零件，医疗辅助机器人能更精确地执行需要深度感知的动作。每一个场景背后，都是规划与执行之间那个曾经缺失的三维桥梁被重新建立起来。

感兴趣深入研究的读者，可通过arXiv编号2606.31329查询完整论文。

Q&A

Q1：3D HAMSTER中的"涂鸦效应"是什么意思，为什么会导致机器人任务失败？

A：涂鸦效应指的是，当二维规划器输出的平面轨迹被强行投影到三维空间时，每个轨迹点会被分配到它正下方场景表面的深度值，导致整条轨迹贴着场景表面延伸，就像在场景上喷涂图案一样。这种轨迹无法表达手臂需要在空中走弧线的意图，下层控制器也分不清这是引导路径还是场景几何，最终执行出错。

Q2：3D HAMSTER的深度重建损失有什么作用，不加它会怎样？

A：深度重建损失的作用是迫使模型的深度特征保持对整个场景几何结构的理解，而不仅仅记住几个稀疏的轨迹坐标点。不加它时，模型只靠轨迹坐标的监督信号来学习，梯度信号稀疏，深度特征在训练过程中容易退化。加入深度重建损失后，终点预测在10厘米宽松标准下从75.0%提升到82.4%，对长轨迹序列末端的深度漂移有明显的纠正作用。

Q3：为什么π0.5这样的端到端模型在标准条件下表现很好，但遇到视觉变化就会大幅下降？

A：端到端模型把规划和执行融合在同一个网络里，整体在训练数据的场景外观上优化，因此非常擅长重现训练时见过的情况。但一旦光照、纹理或物体摆放发生变化，网络依赖的视觉特征发生偏移，性能就会急剧下降。而分层框架把语义理解和运动执行分开，规划器用大量多样化数据训练，具备更好的泛化能力，三维轨迹又以空间坐标编码意图、不依赖外观，因此对视觉变化更加鲁棒。