北京大学造出了会"用手开门"的机器人，这项研究可能改变未来家庭机器人的形态

这项由北京大学计算机学院主导的研究，以预印本形式发布于2026年6月13日，论文编号为arXiv:2606.15133，有兴趣深入了解的读者可以通过该编号在arXiv平台上查询完整论文。

你有没有想过，家里的机器人为什么很难帮你开一扇带把手的柜门，或者拉开一个有阻尼的抽屉？明明它看起来有手，也能感知位置，却往往在这种看似简单的任务上栽跟头。这背后藏着一个机器人领域长期以来的难题，而北京大学的研究团队用一套名为"DragMesh-2"的新框架，给出了迄今为止最系统的解法之一。

说到底，这不是一篇让机器人"更聪明"的论文，而是一篇让机器人"更会用手"的论文。研究团队关注的核心问题，是如何让一只五根手指都能独立运动的机械手，通过真实的物理接触来推动一扇会旋转的门或一个会滑动的抽屉——而不是靠"作弊"直接控制那个门或抽屉的运动。这个区别听起来细微，却是整个研究最关键的出发点。

一、为什么"有手"不等于"会用手"

以一个厨房场景作为切入点：一台家用机器人站在冰箱前，任务是把冰箱门拉开。冰箱门不会自己动，它需要手抓住把手，施加持续的力，沿着铰链弧线拉动，才能打开。这个过程中，手和把手之间必须始终保持接触，力度要合适，方向要跟着门的弧线变化，稍有偏差门就会从手里滑脱，或者手指卡住。

这就是所谓"铰接物体操作"的难点所在。柜门、抽屉、微波炉门，这类东西在工程上叫做"铰接物体"，意思是它们的运动受到关节约束——门只能绕轴转，抽屉只能沿导轨滑。机器人要移动这类物体，自己的手不能直接控制那个关节，只能通过持续稳定的手-把手接触，把力量传递过去。

研究团队在论文里明确指出，过去很多方法在这个问题上用了"捷径"：要么直接在仿真里控制门的关节角度，相当于隔空搬运；要么把预先设计好的手部轨迹原样回放，不管实际接触情况如何。这两种方式在实验室里看起来能用，但一旦遇到稍微大一点的阻力（比如门的阻尼变重了），就会立刻失效，因为它们根本没有真正"学会"用接触来传力。

DragMesh-2的第一个核心原则，正是彻底关掉这个捷径：策略只能控制手，门的关节没有任何直接控制通道，门能不能动，完全取决于手和把手之间的物理接触是否有效。这听起来像是给自己设了障碍，但正是这个约束，迫使整个学习过程真正面对接触动力学。

二、接触这件事，比看起来复杂得多

手和物体之间的接触状态，在机器人学里是一个出了名的难题。接触发生的瞬间，手指和把手之间会产生摩擦力、法向力，这些力随着手的位置、角度、用力方式实时变化。如果手指位置稍微偏了，接触力的方向就错了，门不仅打不开，还可能把手推得更偏。

更麻烦的是，研究团队用的是一只51个自由度的仿人手，参考了SMPL-X人体手部模型，包括6个腕部自由度和45个手指关节。控制这样一只手，每一步都要输出51个数值来决定手指和腕部的运动增量。在这么高维度的控制空间里，策略非常容易陷入一种"饱和"状态——每个关节都使出最大力气拼命推，看起来很努力，实际上接触早就断了，门完全没动。

研究团队把这种现象叫做"动作饱和"，并设计了一个叫clip099的指标来追踪它：统计一个回合里有多少步骤的最大动作幅度超过了0.99（也就是接近上限）。结果发现，训练时间越长，clip099往往越高，也就是说，策略在名义上越来越会完成任务，实际上是把手指全部推到了极限，靠蛮力完成的。这样的策略一旦遇到阻力稍大的门，立刻崩溃。

为了量化这种崩溃，研究团队在论文里展示了一个让人印象深刻的实验：在同一个对象上，仅仅延长训练时间，名义阻尼下的成功率从0.90升到了1.00，看起来越来越好；但同时，四倍阻尼下的成功率从0.55跌到了0.10，clip099从0.90升到了0.99。训练越久，名义成绩越漂亮，实际鲁棒性越差。这直接说明，用训练奖励或名义成功率来选择模型，是不够的。

三、PICA：给训练过程注入"物理感知"

面对上述问题，研究团队提出了PICA（Physically Informed Contact-Aware，物理感知接触意识）训练机制。核心思路是：既然手上没有力传感器，没有触觉传感器，那就从可以观测到的运动学信息中提炼出物理信号，把这些信号显式地编码进策略的学习过程。

PICA在两个层面发挥作用。在环境层面，奖励函数不再只是"门打开了多少"，而是加入了多个接触相关的分项。第一个是接触维持奖励，鼓励手掌和把手之间保持近距离，不要漂移。第二个是动作边界惩罚，当关节动作接近极限时给予额外惩罚，抑制蛮力行为。第三个是脱离惩罚，当手进入有效接触范围之后又离开，触发一次性的惩罚，相当于给策略设了一道"接触门禁"——一旦你去抓把手，就不能轻易放手。成功完成任务则获得额外奖励。此外，每次训练重置时，门的阻尼系数从一个区间里随机采样，让策略在训练中就接触到多种不同的阻力情况。

在策略层面，PICA引入了一个时序编码模块，用来处理最近16步的控制历史。每一步的历史记录包含当前的PD跟踪误差（也就是策略想要的关节角度和实际关节角度的差距）以及上一步的动作。这个历史序列被送入一个名为GLA（门控线性注意力）的时序编码器，生成一个"接触历史特征"，与当前状态特征拼接，共同决定动作。

为了让这个时序编码器真正学到接触相关的表征，而不是只学到"怎么更快完成任务"，PICA还加了一个辅助监督任务：根据接触历史特征，预测四个可观测的物理量——最近K步内门的关节位移、最大手掌-把手距离、是否发生了脱离风险、以及最大跟踪误差。这四个量都不是力传感器直接测出来的，而是从运动学信息中计算得到的，但它们能隐式地反映接触状态。通过要求时序编码器预测这些量，策略被迫学到真正有物理意义的历史表征，而不是只抓住"任务进度"这一个信号。

四、参考轨迹：不是作弊，而是脚手架

DragMesh-2还配套生成了一个纯几何参考轨迹数据集，覆盖GAPartNet数据集中7类铰接物体的277条轨迹，包括储物家具、洗碗机、冰箱、烤箱、微波炉、垃圾桶和桌面物体。这些轨迹完全不靠学习，只靠几何计算生成。

生成流程分为四个阶段，像一个有步骤的"教学示范"。首先是接近阶段，手腕从预抓取位置沿把手法线方向移向把手，手指同时从张开姿态变为预成形姿态。接着是抓握阶段，手腕固定，手指合拢到力闭合抓握姿态，合拢程度根据把手厚度自动调整。然后是拖拽阶段，对于滑动关节（如抽屉），手腕沿法线平移；对于旋转关节（如门），手腕绕关节轴旋转，手腕朝向同步更新，确保手掌始终面向把手。最后是释放阶段，手指张开，手腕沿最终法线方向撤回。整个过程不需要任何人工标注演示，只需要GAPartNet提供的几何和运动标注。

这些轨迹在DragMesh-2里扮演三个角色。第一，它们提供专家抓握初始状态，每个训练和评测回合都从这个状态出发，省去了从零探索抓握的复杂性，让训练聚焦在"拖拽"这个核心问题上。第二，它们定义了每个物体的目标运动范围，成功阈值被设置为参考轨迹运动范围的50%，任务进度也用这个范围归一化，使得不同物体（门、抽屉）的成功率可以直接比较。第三，作为一个非学习的轨迹跟踪基线，它们直接展示了纯几何回放能做到什么，也揭示了它的局限性。研究团队把这个数据集公开发布，供未来的全身运动操作和仿人机器人研究使用。

五、跟七个不同物体较量的结果

评测在7个GAPartNet物体上进行，涵盖洗碗机门、储物家具抽屉和门、微波炉门，分属旋转关节和平移关节两种类型。每种方法在三种阻尼倍数下（名义×1、轻度偏移×2、强偏移×4）分别用确定性执行和随机采样执行各测20个回合。

轨迹跟踪基线在名义阻尼下全部成功，7个物体成功率均为1.00，证明参考轨迹确实能通过真实接触打开门，而不是在仿真里作弊。但当阻尼升到×2和×4时，有两个物体（45936和7310）完全失败，平均成功率跌到0.71，说明纯开环回放完全不具备对阻力变化的适应能力。

在学习型方法里，最基础的仅状态PPO（不使用历史信息）在名义阻尼下确定性成功率为0.58，到×4降至0.27。加入历史拼接的扁平历史PPO稍高，×4时为0.32。GRU-PPO和Transformer-PPO分别为0.30和0.09，后者在×4下几乎完全失败。只使用GLA时序编码器而不加物理信号的消融版本，×4时为0.36。只使用物理信号而不加GLA的消融版本，×4时为0.43。两者结合的完整PICA版本，×4时达到0.56，在所有6个执行模式×阻尼组合中均排第一。

平行颌夹爪基线用已知的零件位置作为输入，只能在一个物体上成功，7个物体平均成功率0.14，而且对阻尼完全不敏感。这说明即使已知精确的零件位置，一个几何原语也替代不了闭环的灵巧接触控制。

从逐物体的详细数字来看，没有一种方法能在全部7个物体上都表现最好，这反映了不同物体几何形状和接触条件的巨大差异。45936这个储物家具门对所有方法都是最难的，PICA在×4下确定性成功率只有0.25。7310微波炉门也相对困难，PICA的×4成功率为0.15。相对容易的是45261储物家具抽屉，PICA在三种阻尼下均达到0.90以上。这种异质性是研究团队在论文中明确承认的局限之一。

六、延长训练和扩大阻尼范围都不是银弹

研究团队在论文的附录里做了大量诊断性实验，这些实验的结论同样重要。在单个物体（45936）上，基础PICA策略训练到150个epoch时，×4成功率为0.55，clip099为0.90；训练到200 epoch时，×4成功率0.50，clip099升到0.97；训练到300 epoch时，×4成功率骤降到0.10，clip099接近1.0；500 epoch时同样如此。训练越久，名义成绩满分，强阻尼成绩崩溃，动作完全饱和。这说明对阻力的鲁棒性并不随训练时间单调提升，而是存在一个快速跃变。

为了进一步增强鲁棒性，研究团队在PICA基础上加了两个接触稳定微调模块：ARAM是动作饱和惩罚的自适应版本，在高阻抗停滞状态下对高幅度动作施加额外惩罚；Reconfig在策略陷入停滞时鼓励小幅度手部重配置，让手能重新建立有效接触。从150 epoch的基础策略出发，先做50 epoch的两模块联合微调，可以在×4确定性和随机执行下同时达到0.55，是所有诊断变体中在随机×4条件下的最优结果。

但继续从200 epoch的微调点往后训练200个epoch，情况又重演了：确定性×2成功率从0.85跌到0.25，×4成功率维持在0.00附近，clip099继续单调上升。连训练框架自动保存的"最优训练奖励检查点"（epoch399）都处于退化状态，进一步证明靠训练奖励选检查点是不可靠的。

把训练时的阻尼采样区间从[1.0, 2.0]扩大到[1.0, 4.0]，让策略在训练中就见到强阻尼，效果同样有限：确定性×4成功率只从0.00提升到0.05，而×2成功率明显下滑，随机×4甚至退步。研究团队的结论是，在当前51维位置增量动作接口和无力觉观测通道的框架下，仅靠调整训练分布无法解决强阻力下的鲁棒性问题，需要在动作空间或观测空间上做本质改变。

七、这项研究打开了哪些门，也指出了哪些墙

研究团队在论文里坦率地列出了DragMesh-2目前的局限。成功率在强阻尼下仍然有限，各物体之间的差异很大，而且所有实验都在仿真中进行，硬件部分只是一段定性可行性演示视频，不构成量化基准。策略没有任何力觉或触觉输入，接触状态只能从运动学误差间接推断，这在强阻力下显然不够。

未来的改进方向，研究团队提出了两条清晰的路径。第一条是丰富接触接口，在动作端加入腕部力矩输出维度，在观测端加入接触力或触觉反馈，让策略能直接调节握力而不是一味推到关节极限。第二条是扩展到全身操作，把DragMesh-2里生成的手部接触轨迹数据集，与全身运动控制结合起来，用于仿人机器人的移动操作，让平衡、行走和手部接触作为一个整体协调进行。

说到底，DragMesh-2做的事情，可以用一个简单的比方来理解：以前的机器人学"开门"，学的是门怎么动；现在这套框架让机器人学"开门"，学的是手怎么持续稳定地推着门动。这个转变，让整个学习过程必须真正面对接触动力学，而不是绕过它。PICA机制则在没有任何力传感器的前提下，用运动学历史信息隐式地感知接触状态，并通过多层次的物理信号约束策略学习，使其在阻力变化时不至于立刻崩溃。

归根结底，当我们期待机器人真正走进家庭、照顾老人、完成日常家务时，"会用手"这件事比"有手"重要得多。北京大学的这项研究，是在这条路上踏出的一步——它没有解决所有问题，但它把问题定义得更清晰，把评测做得更诚实，把局限说得更直白。这本身，就是推动领域前进的方式。

---

Q&A

Q1：DragMesh-2和普通机器人抓取有什么不同？

A：普通机器人抓取通常针对静态物体，抓稳拿走就行。DragMesh-2针对的是铰接物体，比如柜门和抽屉，这类物体不能直接拿走，必须通过持续的手-把手接触传递力量，沿关节轨迹移动。普通抓取学的是"抓住什么"，DragMesh-2学的是"怎么持续用力推着物体动"，难度完全不同。

Q2：PICA训练机制为什么不需要力传感器？

A：PICA通过观察运动学信息来间接推断接触状态。当手指用力但门没动时，关节跟踪误差会变大；当手掌离把手变远时，接触距离信号会报警。这些信号虽然不是直接的力测量，但足以反映接触是否有效。PICA把这些信号编入奖励和辅助监督任务，引导策略在没有触觉硬件的情况下也能学到稳定接触行为。

Q3：DragMesh-2的参考轨迹数据集有什么用途？

A：这个277条轨迹的数据集完全靠几何计算生成，不需要人工演示。在DragMesh-2内部，它用于初始化每个训练回合的抓握状态，并定义每个物体的任务尺度。对外，研究团队把它公开发布，供未来研究者在全身运动操作、仿人机器人手-物体交互等方向直接使用，作为接触行为的几何参考。