机器人学会"三重思考"：清华大学让机器人拥有了分层视觉理解能力

这项由清华大学交叉信息研究院的陆一洋、田宇峰、袁哲成等研究者领导的研究发表于2025年6月，论文题目为"H3DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning"。感兴趣的读者可以通过arXiv:2505.07819v2获取完整论文内容。这个研究团队还包括来自哈尔滨工业大学、上海期智研究院和上海AI实验室的研究人员。

当我们看到一个熟练的厨师在准备晚餐时，他们的大脑其实在进行着一种非常复杂的信息处理过程。厨师首先会观察整个厨房的布局，然后聚焦到具体的食材，最后精确地控制刀具进行切菜。这种从全局到细节、从粗糙到精细的思考方式，正是人类大脑处理视觉信息和指导行动的基本模式。

现在，机器人领域面临着一个棘手的问题。虽然当前的机器人在模仿人类动作方面已经取得了不错的进展，但它们在处理视觉信息和生成动作时往往采用一种"一锅烩"的方式。就像一个新手厨师，看到食材就直接开始胡乱切菜，既不考虑整体布局，也不区分轻重缓急。这种做法让机器人在面对复杂的真实世界环境时经常会出现各种问题。

清华大学的研究团队提出了一个革命性的解决方案，他们称之为"三重分层扩散策略"（H3DP）。这个名字听起来很学术，但实际上它的核心思想非常直观。研究团队认为，要让机器人真正聪明起来，就必须教会它们像人类一样进行"三重思考"。

这种"三重思考"体现在三个层面上。首先是输入层面的分层处理，就像人眼在观察场景时会自动区分前景和背景一样。其次是表征层面的多尺度理解，类似于我们既能看到森林的整体轮廓，也能注意到单个树叶的细节。最后是动作生成的分层执行，正如钢琴家演奏时会先确定整体节奏，再精确控制每个音符的力度。

整个研究的核心贡献在于建立了视觉感知与动作生成之间更紧密的联系。传统的机器人系统往往将视觉处理和动作规划分割开来，就像让一个人蒙着眼睛根据别人的描述来做菜一样效率低下。而H3DP系统则实现了视觉与动作的深度融合，让机器人能够根据不同层次的视觉信息来指导相应精度的动作执行。

研究团队在44个仿真任务和4个真实世界任务上验证了他们的方法。实验结果显示，H3DP相比现有最先进的方法平均提升了27.5%的性能。更重要的是，在真实世界的复杂操作任务中，比如在杂乱的冰箱里取物品、制作果汁饮料等长序列任务，H3DP都表现出了显著的优势。

一、深度感知的输入分层：让机器人学会"看远近"

在人类的视觉系统中，我们天生就具备区分物体远近的能力。当你伸手去拿桌上的咖啡杯时，你的大脑会自动将咖啡杯从背景中分离出来，专注于它的位置和形状。这种看似简单的能力，对机器人来说却并不容易实现。

传统的机器人视觉系统通常采用一种"大杂烩"的方式处理图像信息。它们会把彩色图像（RGB）和深度信息简单地拼接在一起，就像把不同颜色的油漆混合在调色板上一样。这种做法的问题在于，机器人无法有效地利用深度信息来区分哪些物体在前景，哪些在背景，结果经常会被无关的背景物体干扰。

H3DP系统采用了一种全新的"深度感知分层"策略。这个方法的灵感来源于人类视觉皮层的工作原理。研究团队设计了一个巧妙的数学公式，能够根据物体的深度距离将整个图像分割成多个层次。就像摄影师使用景深效果来突出主体一样，这种分层方法让机器人能够自动识别出哪些区域是工作重点。

具体来说，系统会根据物体距离摄像头的远近，将图像分成若干个"层片"。距离最近的物体被归类为第0层，稍远一些的归为第1层，以此类推。这种分层不是简单的切割，而是采用了一种特殊的线性递增离散化公式。这个公式的设计考虑了机器人工作空间的特点，确保机器人能够更多地关注其操作范围内的物体。

这种分层策略的妙处在于它能够有效地抑制背景干扰和遮挡问题。当机器人需要在杂乱的桌面上抓取特定物品时，传统系统可能会被桌面上的其他物品或者背景墙壁所干扰。而H3DP系统能够自动将注意力集中在前景的操作目标上，大大提高了操作的准确性。

研究团队还对比了其他几种分层方法，包括经典的高斯混合模型等传统前景背景分割技术。实验结果表明，基于深度的分层策略确实比其他方法更加有效。这种方法不仅简单直观，而且计算效率很高，非常适合实时机器人应用。

更有趣的是，研究团队发现分层的数量也很有讲究。太少的层数无法有效区分前景和背景，太多的层数又会导致图像被过度分割，反而降低了系统的表现。通过大量实验，他们发现3到4层是最优的选择，这个发现在不同的机器人任务中都得到了验证。

这种深度感知分层的最大价值在于，它为后续的多尺度视觉表征和分层动作生成奠定了坚实的基础。就像建房子需要先打好地基一样，有了清晰的深度分层，机器人才能进一步进行更复杂的视觉理解和动作规划。

二、多尺度视觉表征：从全景到细节的智能观察

人类在观察世界时有一个非常奇妙的特点：我们能够同时在多个层次上理解同一个场景。比如当你走进一家餐厅时，你既能感知到整个餐厅的氛围和布局，也能注意到桌上餐具的摆放细节，还能观察到服务员脸上的微笑表情。这种多层次的视觉理解能力让我们能够在复杂环境中做出合适的行为决策。

传统的机器人视觉系统往往存在一个致命的缺陷：它们通常只能在单一尺度上理解图像。就像一个近视眼的人摘掉眼镜后，要么能看清远处的大轮廓但看不清细节，要么能看清眼前的细节但无法把握整体。这种单一尺度的理解方式严重限制了机器人在复杂环境中的表现。

H3DP系统引入了一种革命性的"多尺度视觉表征"方法。这个方法的核心思想是让机器人能够像人类一样，在多个不同的观察尺度上同时理解同一个场景。系统会将每个深度层的图像信息编码成多个不同分辨率的特征图，从而捕获从全局上下文到局部细节的各种层次的信息。

这个过程可以用拍照来类比。当你用手机拍一张风景照时，你既能看到整个山脉的轮廓，也能看到山坡上的树木，还能看到树叶的纹理。H3DP系统就是模拟了这种多层次的观察方式，让机器人能够同时获取不同粒度的视觉信息。

技术上，系统采用了一种叫做"插值和量化"的方法。听起来很复杂，但实际上就像是用不同倍数的放大镜来观察同一个物体。系统会将原始的高分辨率特征图通过数学变换生成多个不同分辨率的版本，每个版本都保留了特定层次的信息。为了确保这些不同尺度的表征保持一致性，系统还采用了一种特殊的训练策略。

这种多尺度表征的最大优势在于它能够有效地捕获不同层次的语义信息。粗尺度的表征能够理解场景的整体结构和物体的大致位置关系，就像你一眼就能看出这是厨房还是卧室。中等尺度的表征能够识别具体的物体类别和它们的相对位置，比如桌子上有杯子和盘子。细尺度的表征则能够捕获精确的几何细节，比如杯子把手的朝向和盘子的边缘位置。

为了确保这些多尺度表征能够有效地工作，研究团队设计了一个精巧的一致性损失函数。这个函数的作用就像是一个质量检查员，确保不同尺度的表征之间保持协调一致，避免出现矛盾的信息。

实验结果表明，这种多尺度视觉表征显著提高了机器人的性能。在需要精确操作的任务中，比如在杂乱环境中抓取特定物品，多尺度表征让机器人既能理解整体环境的布局，避免碰撞其他物体，又能精确定位目标物品的抓取点。

更令人印象深刻的是，这种方法还展现出了良好的泛化能力。当机器人面对训练时没有见过的新环境或新物体时，多尺度表征帮助它更好地理解和适应这些新情况。这是因为不同尺度的表征提供了多个互补的视角，即使某个尺度的信息不够清晰，其他尺度的信息也能提供有效的补充。

三、分层动作生成：从构思到精雕的智能执行

人类在执行复杂动作时有一个非常有趣的特点：我们总是从大的动作框架开始，然后逐渐精细化到具体的动作细节。比如当一位画家创作一幅肖像画时，他首先会用粗笔勾勒出人物的整体轮廓和主要特征，然后逐步添加细节，最后用细笔描绘眼睛的神韵和嘴唇的质感。这种从粗到细的创作过程不仅效率高，而且能够确保整体效果的协调统一。

H3DP系统的第三个核心创新就是将这种人类的"分层执行"思维引入到机器人的动作生成中。传统的机器人系统通常采用一种"一步到位"的方式生成动作，就像试图一笔画出完美的圆圈一样困难。而H3DP系统则采用了一种更加智能的"分层动作生成"策略。

这种策略的核心思想是将动作生成过程分解成多个阶段，每个阶段使用相应层次的视觉信息来指导动作的生成。在早期阶段，系统使用粗尺度的视觉表征来确定动作的大致方向和整体轨迹，就像画家先确定人物的基本姿态。在后续阶段，系统逐渐引入更精细的视觉信息，来细化动作的具体细节，比如手指的精确位置和抓取的力度控制。

技术上，这个过程基于扩散模型的工作原理。扩散模型是一种非常有趣的生成模型，它的工作方式类似于逆转图像的模糊过程。想象你有一张清晰的照片，然后逐渐给它添加噪声直到变成完全的随机噪点，扩散模型就是学习如何将这个过程反过来，从噪声中恢复出清晰的图像。

H3DP系统巧妙地利用了扩散模型的这个特性。研究团队发现，扩散模型在去噪过程中天然具有一种"从低频到高频"的重建特性。低频成分对应动作的整体趋势和大致轮廓，高频成分对应动作的精细细节和微调。这种特性与人类的动作生成过程高度吻合。

在具体实现中，系统将整个去噪过程分成若干个阶段。在每个阶段，系统使用对应层次的多尺度视觉表征来指导动作的生成。早期阶段使用粗尺度表征来塑造动作的整体结构，就像雕塑家先用粗凿子确定雕像的基本形状。后期阶段使用细尺度表征来精细化动作的具体细节，就像雕塑家用细凿子雕刻面部表情。

这种分层动作生成的最大优势在于它建立了视觉感知与动作执行之间的紧密对应关系。传统系统中，视觉处理和动作生成往往是相对独立的模块，就像两个不太熟悉的舞伴试图跳双人舞一样配合生硬。而H3DP系统则实现了视觉与动作的深度融合，让它们像经验丰富的舞伴一样配合默契。

实验结果显示，这种分层动作生成策略显著提高了机器人在复杂任务中的表现。特别是在需要精确操作的长序列任务中，比如制作饮料这样需要多个步骤的复杂操作，分层生成让机器人能够既保持整体任务的连贯性，又确保每个具体步骤的精确执行。

研究团队还通过频谱分析验证了这种分层生成的有效性。他们发现，在动作生成的不同阶段，确实存在着从低频到高频的渐进式特征出现模式。这个发现不仅验证了他们理论设计的正确性，也为未来的相关研究提供了重要的理论基础。

四、实验验证：从仿真到现实的全面测试

为了验证H3DP系统的有效性，研究团队设计了一系列覆盖面极广的实验。这些实验就像一场全面的"驾考"，不仅要测试机器人在标准环境下的表现，还要检验它在各种复杂和意外情况下的应对能力。

在仿真实验部分，研究团队选择了5个不同的基准测试平台，总共包含44个不同类型的任务。这些任务涵盖了机器人操作的各个方面，从简单的物体抓取到复杂的双手协作，从刚性物体操作到可变形材料处理，从单步骤操作到复杂的多步骤任务序列。

这种全面测试的设计理念就像汽车的安全碰撞测试一样，要在各种可能的场景下验证系统的可靠性。研究团队特别注重测试任务的多样性，因为一个真正有用的机器人系统必须能够处理现实世界的各种不确定性和复杂性。

在MetaWorld平台上，H3DP系统在11个中等难度任务中取得了98.3%的成功率，在5个困难任务中达到了87.8%的成功率，在5个极端困难任务中也实现了95.8%的成功率。这些数字背后反映的是系统在不同复杂度环境下的稳定表现。

在ManiSkill平台上，系统展现了处理不同材质物体的能力。在可变形物体操作任务中取得了59.3%的成功率，在刚性物体操作中达到了65.3%的成功率。虽然这些数字看起来不如MetaWorld那么亮眼，但要知道这些任务的复杂程度要高得多，涉及到对材料物理特性的理解和复杂的力控制。

特别值得一提的是，H3DP系统在与现有最先进方法的对比中表现出了显著优势。相比传统的扩散策略（DP），H3DP平均提升了27.5%的性能。相比专门针对3D输入优化的DP3方法，H3DP不仅性能更好，而且还具有一个重要优势：它不需要人工进行点云分割，能够直接处理原始的RGB-D图像。

更令人印象深刻的是真实世界实验的结果。研究团队使用银河通用机器人公司的R1机器人在真实环境中进行了测试。他们精心设计了四个具有挑战性的真实世界任务，每个任务都反映了日常生活中的实际需求。

"清理冰箱"任务要求机器人在杂乱的冰箱环境中找到透明瓶子，并将其从上层移动到下层。这个任务的难点在于透明物体的识别和在有限空间内的精确操作。H3DP系统取得了51%的成功率，而传统方法只有13%。

"制作果汁"是一个长序列任务，需要机器人依次完成放置杯子、舀取果汁粉、加水和插入吸管四个步骤。这种任务考验的是系统对复杂任务序列的理解和执行能力。H3DP的成功率达到了52%，而基准方法只有24%。

"放置瓶子"任务看似简单，但实际上需要机器人精确理解空间关系，将随机放置的瓶子准确放到指定的杯垫上。H3DP取得了63%的成功率，基准方法为15%。

"清扫垃圾"是最复杂的任务，需要机器人使用扫帚清扫桌面垃圾到簸箕中，然后倒入垃圾桶。这个任务涉及工具使用和多步骤协调。H3DP的成功率为50%，而基准方法几乎无法完成这个任务。

研究团队还进行了一系列详细的消融实验，系统地验证了每个组件的贡献。他们发现，深度感知分层、多尺度视觉表征和分层动作生成这三个组件缺一不可，每个组件的移除都会导致性能的显著下降。这证明了整个系统设计的科学性和各组件之间的协同效应。

特别有趣的是频谱分析实验。研究团队对机器人生成的动作序列进行了频域分析，发现确实存在着从低频到高频的渐进式生成模式。这个发现不仅验证了他们的理论假设，也为理解扩散模型在机器人控制中的工作机制提供了新的见解。

五、技术突破与实际意义

H3DP系统的成功不仅仅体现在实验数据的提升上，更重要的是它代表了机器人视觉运动学习领域的一个重要范式转变。这种转变的核心在于从"分离式处理"向"整合式理解"的转变。

传统的机器人系统往往将视觉感知和动作规划视为两个相对独立的模块。这种设计理念就像让一个人蒙着眼睛听别人描述周围环境，然后再根据这些二手信息来规划自己的行动。虽然在简单环境下这种方法可能勉强可行，但在复杂的真实世界环境中，这种信息传递过程中的损失和延迟往往会导致严重的性能问题。

H3DP系统则实现了视觉感知与动作生成的深度融合。这种融合不是简单的模块连接，而是在算法层面建立了两者之间的内在对应关系。系统中的每一层视觉表征都直接对应着动作生成的特定阶段，形成了一种"你中有我、我中有你"的紧密耦合关系。

这种设计理念的突破性在于它更好地模拟了人类大脑处理视觉运动任务的方式。神经科学研究表明，人类大脑中的视觉皮层和运动皮层之间存在着密集的连接，视觉信息的处理和运动指令的生成是高度并行和相互影响的过程。H3DP系统在某种程度上复现了这种生物学上的信息处理模式。

从技术实现角度来看，H3DP系统还解决了几个长期困扰机器人领域的技术难题。首先是RGB-D信息的有效利用问题。虽然深度信息对机器人操作至关重要，但如何有效地融合RGB和深度信息一直是一个挑战。H3DP的深度感知分层策略提供了一种优雅的解决方案，不仅充分利用了深度信息，还避免了简单拼接带来的问题。

其次是多尺度信息的整合问题。在计算机视觉中，多尺度特征提取已经是一种成熟的技术，但如何将这种技术有效地应用到机器人控制中一直缺乏系统性的解决方案。H3DP通过将多尺度视觉表征与分层动作生成相结合，为这个问题提供了一个完整的技术框架。

第三是扩散模型在机器人控制中的应用问题。虽然扩散模型在图像生成等领域取得了巨大成功，但如何充分利用其内在特性来改进机器人控制还缺乏深入的研究。H3DP系统通过分析和利用扩散过程的频域特性，开创了一种新的应用范式。

从实际应用角度来看，H3DP系统的意义远不止于性能的提升。它为机器人在复杂真实环境中的部署提供了新的可能性。传统的机器人系统往往需要在高度结构化和可控的环境中工作，而H3DP系统展现出了在杂乱、动态环境中工作的能力。

这种能力对于家庭服务机器人的发展具有重要意义。家庭环境通常是非结构化的、动态变化的，充满了各种不确定性。H3D系统展现出的环境适应能力和精确操作能力，为机器人走进千家万户奠定了重要的技术基础。

此外，H3DP系统还展现出了良好的可扩展性和泛化能力。在实例泛化实验中，当研究团队改变操作对象的大小和形状时，系统仍然能够保持良好的性能。这种泛化能力对于实用化的机器人系统至关重要，因为现实世界中的对象往往具有很大的变异性。

研究团队还特别关注了系统的计算效率问题。虽然H3DP系统引入了多个层次的处理，但通过巧妙的设计，系统的推理速度并没有显著下降。在真实世界实验中，通过异步处理设计，系统能够达到10-15Hz的推理频率，基本满足了实时操作的需求。

六、局限性与未来展望

尽管H3DP系统取得了显著的成功，但研究团队也诚实地指出了当前系统存在的一些局限性。这种科学的态度不仅体现了研究的严谨性，也为未来的改进方向提供了清晰的指引。

首先是推理速度的问题。虽然研究团队通过异步处理等技术手段在一定程度上缓解了这个问题，但基于扩散模型的方法本身需要多次迭代推理，这在计算时间上仍然是一个挑战。目前系统在真实世界中的推理频率为10-15Hz，虽然能够满足大多数操作任务的需求，但对于一些需要快速反应的任务来说可能还不够理想。

这个问题的解决可能需要从多个角度入手。一方面可以通过模型蒸馏等技术将复杂的扩散模型转换为更快的一致性模型，从而提高推理速度。另一方面可以通过硬件加速和算法优化来提升计算效率。研究团队已经在论文中提到了这些可能的改进方向。

其次是传感器质量的限制。在真实世界实验中，研究团队使用的ZED相机虽然能够提供RGB-D数据，但其深度信息的质量相对有限。这种限制在一定程度上影响了系统的性能表现，特别是在需要精确深度信息的操作任务中。

未来的改进可能需要采用更高精度的深度传感器，或者开发更加鲁棒的深度信息处理算法。随着激光雷达、结构光等深度感知技术的不断发展和成本降低，这个问题有望得到较好的解决。

第三个局限是任务复杂性的边界。虽然H3DP系统在多种任务中表现出色，但目前的实验主要集中在相对标准的操作任务上。对于一些极其复杂的任务，比如需要高度灵活性的装配任务或者涉及复杂工具使用的任务，系统的表现还有待进一步验证。

不过，这些局限性也恰恰指出了未来研究的方向。研究团队表示，他们计划将H3DP系统扩展到更加复杂的灵巧操作任务中，特别是那些需要精细手指控制的任务。这将需要在现有框架的基础上进一步发展更加精细的视觉表征和动作生成技术。

从更宏观的角度来看，H3DP系统的成功为机器人学习领域开辟了新的研究方向。分层处理的思想不仅可以应用到视觉运动学习中，也可能在其他类型的机器人学习任务中发挥作用。比如在语言理解和执行任务中，也可能存在类似的多层次对应关系。

此外，H3DP系统所体现的"生物启发"设计理念也值得进一步探索。人类大脑处理复杂任务的方式中还有许多机制尚未被充分理解和应用。随着神经科学研究的深入，我们可能会发现更多可以借鉴的生物学原理，从而设计出更加智能和高效的机器人系统。

从产业应用的角度来看，H3DP系统的技术框架也为商业化应用提供了新的可能性。虽然目前的系统还主要在实验室环境中验证，但其展现出的性能优势和环境适应能力表明，这种技术有望在不久的将来应用到实际的商业场景中。

特别是在家庭服务、工业自动化、医疗辅助等领域，H3DP系统所体现的精确操作和环境适应能力都具有重要的应用价值。当然，从实验室技术到商业产品还需要解决许多工程化问题，包括系统的稳定性、成本控制、用户界面设计等方面。

说到底，H3DP系统的最大价值可能不在于它本身的性能提升，而在于它为机器人智能化发展提供了一种新的思考框架。这种"分层对应"的设计理念启发我们重新思考如何设计更加智能的机器人系统，如何更好地模拟人类的认知和行为模式，如何在复杂的现实世界中实现可靠的自主操作。

随着技术的不断发展，我们有理由相信，基于这种理念设计的机器人系统将变得越来越智能，越来越实用。也许在不久的将来，我们真的会看到像人类一样灵活、智能的机器人助手走进我们的日常生活，而H3DP系统所开创的技术路线很可能会在这个过程中发挥重要作用。这项研究的意义远远超出了技术本身，它为我们描绘了一个更加智能、更加便利的未来生活图景。

Q&A

Q1：H3DP是什么？它能让机器人做什么？ A：H3DP是清华大学开发的一种新型机器人视觉学习系统，全称是"三重分层扩散策略"。它让机器人能够像人类一样进行"三重思考"：先区分远近景物，再从整体到细节理解场景，最后从粗糙到精细地执行动作。这使机器人能在杂乱环境中精确操作，比如在冰箱里找东西、制作饮料等复杂任务。

Q2：H3DP比传统机器人系统好在哪里？ A：传统机器人往往将"看"和"做"分开处理，就像蒙眼做事一样效率低。H3DP实现了视觉与动作的深度融合，让机器人能根据不同层次的视觉信息指导相应精度的动作。实验显示，它比现有最先进方法平均提升27.5%的性能，在真实世界复杂任务中提升更达32.3%。

Q3：普通人什么时候能用上这种技术？ A：目前H3DP还在实验室阶段，但它展现的能力为家庭服务机器人奠定了重要基础。该技术能让机器人在非结构化的家庭环境中工作，比如整理房间、做简单家务等。虽然从实验室到商业产品还需要解决成本、稳定性等问题，但这种"分层思考"的设计理念很可能成为未来智能机器人的标准配置。