MIT携手加州伯克利打造"机械手套"：让机器人秒变人类灵巧手

麻省理工学院计算机科学与人工智能实验室（CSAIL）的方昊书（Hao-Shu Fang）教授，联合加州大学伯克利分校的研究团队，在2024年9月发表了一项突破性研究。这项发表在arXiv预印本平台的研究（论文编号：2509.04441v2），向我们展示了一个革命性的机器人训练系统——DEXOP。感兴趣的读者可以通过该编号或访问项目网站dex-op.github.io查询完整论文。

当我们看到钢琴大师行云流水般弹奏肖邦夜曲，或者外科医生精准地进行微创手术时，不禁会想：如果机器人也能拥有这样的灵巧双手该有多好？这个看似遥不可及的梦想，如今正在MIT的实验室里一步步变为现实。

传统的机器人就像戴着厚厚手套的工人，虽然力气很大，但要让它们做精细活就显得笨手笨脚。比如让机器人拧开一个小小的药瓶盖，或者从桌上准确拿起一枚硬币，这些对人类来说轻而易举的动作，对机器人却是巨大的挑战。问题的关键在于，机器人缺乏人类手指那种精妙的触觉反馈和灵活性。

研究团队发现，要让机器人变得灵巧，最大的障碍不是硬件技术，而是如何收集高质量的训练数据。就像教孩子学习写字需要大量练习一样，机器人也需要观看和模仿大量的人类操作才能学会复杂的手部动作。但现有的数据收集方法都存在各种问题。

目前主流的方法有三种。第一种是在虚拟环境中训练机器人，这就像让司机只在游戏中练车一样，虽然成本低廉，但现实世界的复杂性远超想象，机器人往往无法将虚拟世界学到的技能顺利转移到真实环境中。第二种是分析人类操作的视频，这种方法能够获得丰富的动作数据，但却无法捕捉到关键的力度和触觉信息。就像仅仅通过观看视频学习按摩手法，你能看到动作，却感受不到力度的轻重缓急。第三种是远程操控机器人，让人类实时控制机器人的动作，但这种方法缺乏触觉反馈，操作者就像隔着厚厚的玻璃墙工作，无法感受到操作对象的质感和阻力。

方昊书教授的团队提出了一个全新的解决方案——"近操作"（perioperation）。如果说传统的远程操控是"隔山打牛"，那么近操作就是"身临其境"。他们设计的DEXOP系统，就像是一副神奇的机械手套，让使用者能够直接用自己的手去操控一只被动的机器人手，同时感受到真实的触觉反馈。

这个系统的设计理念非常巧妙。研究人员将一只装满各种传感器的机器人手通过精密的机械连杆系统连接到人类佩戴的外骨骼手套上。当人类移动手指时，机械连杆会同步驱动机器人手做出相同的动作。更重要的是，当机器人手接触到物体时，所产生的阻力和触觉信息会通过同样的机械连杆传递回人类的手指，让操作者能够真切地感受到物体的硬度、重量和表面纹理。

这种设计有三个关键优势。首先是让数据收集变得更加自然。传统的远程操控就像戴着厚手套干活，操作者无法感受到力度，经常会出现抓握过紧导致物体损坏，或者力度不够导致物体滑落的情况。而DEXOP系统让操作者能够感受到真实的触觉反馈，就像直接用手操作一样自然。这不仅提高了操作的精确度，也大大加快了数据收集的速度。

其次是最大化数据的可转移性。DEXOP系统将人手和机器人手分离设计，允许研究人员精确调校两者的运动学结构，确保收集到的数据能够完美地转移到真实的机器人上。这就像为机器人量身定制一套完美的"学习教材"，确保它们能够准确地重现人类的操作技巧。

第三是扩展任务的多样性。DEXOP系统通过各种巧妙的机械设计，极大地扩展了可以完成的任务类型。比如，它配备了"指甲"结构，让机器人能够抓取那些贴在桌面上的薄片物体，就像人类用指甲抠起一张贴纸一样。它还设计了手指分叉关节，让机器人能够调整手指间的距离，适应不同大小的物体。柔软的手掌垫则让机器人能够进行全手掌操作，比如一只手握住瓶子，另一只手拧开瓶盖。

研究团队开发了三个不同版本的DEXOP系统。最高级的DEXOP-12版本拥有4根手指和12个自由度，能够完成最复杂的操作任务。DEXOP-9版本有3根手指和9个自由度，在保持灵活性的同时简化了系统复杂度。而DEXOP-7版本则专门为与现有的EyeSight机器人手配套设计，确保数据的完美转移。

在实际测试中，DEXOP系统展现出了惊人的性能。研究人员设计了四个具有挑战性的测试任务来比较DEXOP与传统远程操控的效果。这些任务包括使用电钻拧螺丝、安装灯泡、包装盒子和开启瓶盖，每一个都需要精确的手部协调和触觉反馈。

在电钻拧螺丝的任务中，传统远程操控的表现可以说是惨不忍睹。四名测试者在使用远程操控时，竟然一次都没有成功完成任务。主要问题在于他们无法准确判断是否按下了电钻的触发器，也难以将钻头精确对准小小的螺丝头。而使用DEXOP系统时，测试者平均每分钟能够完成6次任务，接近人类直接操作时每分钟11次的水平。

在灯泡安装任务中，差距同样明显。使用远程操控时，测试者平均需要86秒才能完成一次安装，而且20次尝试中只有15次成功。使用DEXOP系统时，平均完成时间缩短到仅仅11秒，效率提升了近8倍。这种巨大的效率提升主要归功于DEXOP提供的真实触觉反馈，让操作者能够准确感受到灯泡与灯座的接触情况。

包装盒子的任务更是凸显了触觉反馈的重要性。在没有触觉反馈的情况下，操作者经常会在折叠纸盒边缘时用力过猛，导致整个盒子被推走，或者在插入固定片时无法准确感受插入深度。使用远程操控时，20次尝试中只有3次成功，平均耗时80秒。而DEXOP系统让成功率大幅提升，平均每分钟能完成5次包装，比远程操控快了7倍。

即使是相对简单的开瓶盖任务，DEXOP也展现出了明显优势。虽然远程操控也能完成这个任务，但DEXOP的效率仍然高出2.4倍，平均每分钟能完成12次开瓶操作。

为了验证DEXOP收集的数据确实能够成功训练机器人，研究团队设计了一个复杂的双手协作任务——灯具组装。这个任务需要机器人用一只手抓取灯座，另一只手拿起灯泡，然后将灯泡精确插入并拧紧，最后安装灯罩。整个过程涉及六个连续的步骤，每一步都需要精确的手部控制和力度感知。

研究人员用DEXOP系统收集了160个示范动作，同时用传统远程操控收集了40个示范动作，然后训练了一个神经网络来控制真实的机器人。结果显示，混合了DEXOP数据的机器人在各个步骤上都表现出色，综合成功率达到了51.3%。相比之下，仅使用200个远程操控示范训练的机器人成功率只有42.5%，尽管数据总量更多。

更有趣的是，研究人员发现DEXOP数据不仅质量更高，收集效率也更快。在关键的灯泡拧紧步骤中，使用远程操控的操作者平均需要38秒，因为他们无法感受到拧紧的程度，经常过度旋转。而使用DEXOP系统的操作者只需要6秒就能完成同样的操作，因为他们能够通过触觉反馈准确判断何时停止旋转。

DEXOP系统的核心技术在于其精妙的机械连杆设计。对于食指、中指和无名指，系统使用了双重四连杆机构来实现精确的动作传递。第一个四连杆负责控制近端指节的弯曲，第二个四连杆控制远端指节的动作。这种设计确保了人手和机器人手之间运动的精确同步。

拇指的控制更加复杂，因为它需要同时实现弯曲和分叉两个维度的运动。研究人员设计了一个空间四连杆机构，通过巧妙的几何设计让单一的连杆系统能够控制拇指的三个自由度。这种设计的挑战在于，人类拇指的两个旋转轴距离很近，如果直接复制这种结构，外骨骼会与用户的拇指发生碰撞。因此，研究人员将外骨骼的分叉轴向下移动到靠近手腕的位置，并让拇指外骨骼绕过用户的拇指，避免了碰撞问题。

为了确保DEXOP收集的数据能够无缝转移到真实机器人上，研究团队采用了协同设计的方法。他们不仅设计了DEXOP的被动机器人手，还相应地修改了真实的EyeSight机器人手，确保两者具有完全相同的运动学结构和传感器配置。这种做法的好处是消除了数据转移过程中的任何不匹配，让机器人能够完美重现人类的操作。

在传感器配置方面，DEXOP系统配备了先进的全手触觉感知系统。每个手指和手掌都安装了基于视觉的触觉传感器，能够捕捉接触时的形变图像。这些传感器使用鱼眼镜头，视野角度达到220度，能够覆盖整个传感器表面。通过分析触觉图像的变化，系统可以重建出接触力的大小和方向，为机器人提供丰富的触觉信息。

系统的数据记录功能也经过精心设计。除了手部关节角度和触觉图像外，DEXOP还能记录全局手部位置信息。研究人员将DEXOP安装在定制的手臂外骨骼上，这个外骨骼的运动学结构与目标机器人完全匹配，确保记录的手臂运动能够准确转移到机器人身上。

在实际应用中，DEXOP系统展现出了令人印象深刻的多样性。它能够完成需要精确手指控制的任务，比如重新定向一个小圆盘，这需要手指间的精确协调来旋转物体而不让它掉落。它也能处理微小物体的操作，比如拿起M2螺丝帽并将其拧到螺丝上，这种操作对传统机器人来说几乎是不可能的。

DEXOP在医疗器械操作方面也展现出潜力。系统能够精确控制注射器，包括抽取液体和精确注射，这种精细的力度控制对医疗应用至关重要。在工具使用方面，DEXOP能够操作复杂的多功能工具，比如纸张切割器，需要一只手固定工具，另一只手操作切割机构。

全手操作是DEXOP的另一个强项。在开启调味瓶盖的任务中，系统需要用手指和手掌牢牢固定瓶身，同时用拇指精确旋转瓶盖。这种操作需要全手的协调配合，传统的双指夹持器根本无法胜任。类似地，在操作喷雾器时，DEXOP能够用拇指按压喷头，同时用其他手指稳定瓶身，实现精确的喷雾控制。

研究团队在硬件特性测试中发现，DEXOP-7版本的性能完全可以匹敌真实的机器人手。在力量输出方面，DEXOP的拇指指尖能够产生约70牛顿的力量，食指和中指能够产生约60牛顿的力量，这些数值与EyeSight机器人手相当，也接近人类手指的最大输出力量。

在工作空间覆盖方面，DEXOP与机器人手的关节活动范围几乎完全匹配。MCP关节能够旋转110-120度，PIP关节达到105度，拇指的各个关节也都能覆盖与真实机器人手相同的活动范围。这种精确的匹配确保了操作者在使用DEXOP时的体验与控制真实机器人手完全一致。

在速度响应方面，DEXOP在某些关节上甚至超越了机器人手的性能。PIP和IP关节的最大角速度分别达到15弧度/秒和9弧度/秒，比机器人手快2-3倍。虽然拇指关节的速度相对较慢，但在实际操作中，这样的速度已经完全够用，过快的速度反而可能导致控制不稳定。

为了验证学习效果，研究团队设计了一个包含六个阶段的复杂双手操作任务。第一阶段要求机器人准确抓取灯座，这看似简单，实际上需要机器人能够适应灯座位置的细微变化。第二阶段抓取灯泡更具挑战性，因为球形物体对抓取点的要求更高，稍有偏差就会导致滑落。

第三阶段的灯泡插入是整个任务的技术难点。机器人需要将灯泡的螺纹部分精确对准灯座的内螺纹，这需要毫米级的精度。如果初始对准不够准确，机器人必须能够通过触觉反馈检测到偏差并进行调整。第四阶段的灯泡安装需要机器人感知旋转的阻力变化，判断何时拧紧到位。

第五阶段重新回到基础抓取，但这次的对象是灯罩，需要机器人识别新物体的几何特征并执行可靠的力量抓取。最后阶段的灯罩安装需要双手精确协调，避免碰撞和倾斜，这考验了机器人的空间推理能力。

在政策学习实验中，研究人员使用了行为克隆的方法来训练机器人。输入数据包括双手的腕部摄像头图像、触觉传感器图像和当前关节状态。为了强调接触变化的重要性，系统使用触觉图像与初始状态的差值作为输入，这样能够更好地突出物体接触时的变化。

网络输出分为两部分：机器人手臂的关节位置变化量和机械手的绝对关节位置。使用相对变化量可以提高系统对硬件差异的鲁棒性，而绝对位置控制则确保了机械手动作的精确性。为了提高泛化能力，训练过程中加入了多种数据增强技术，包括颜色抖动、关节噪声和视觉信息丢失。

实验结果显示，混合DEXOP和远程操控数据训练的策略在所有任务阶段都表现最佳，总体成功率达到51.3%。令人意外的是，使用更多远程操控数据的策略表现反而更差，这说明数据质量比数量更重要。DEXOP数据的高质量主要体现在操作的自然性和触觉信息的丰富性上。

分析数据收集时间发现，DEXOP在各个阶段都显著快于远程操控。特别是在需要精确力度控制的灯泡拧紧阶段，DEXOP只需6秒，而远程操控需要38秒。这种效率差异直接反映在训练数据的质量上，DEXOP数据更少包含不必要的重复动作和犹豫操作。

研究团队在讨论中指出，近操作系统对制造精度和传感器校准比较敏感。硬件不匹配可能导致收集的数据无法直接用于机器人部署。在本研究中，这个问题通过加入少量远程操控数据得到了缓解，但更根本的解决方案是提高外骨骼的校准精度，或者开发对小幅误差更鲁棒的学习算法。

当前系统仍有改进空间。比如，从触觉和运动学数据估计关节力矩仍然需要传感器校准和实时推理。现有的EyeSight机器人手的自由度还不足以完成非常复杂的手内操作任务。此外，当前的DEXOP只能提供本体感觉反馈，还无法向人类提供触觉反馈。

尽管存在这些限制，DEXOP已经展现出了巨大的潜力。随着机器人硬件能力的不断提升，高质量训练数据的缺乏正在成为主要瓶颈。DEXOP这样的系统填补了原始人类示范和机器人泛化之间的关键空白，通过让人类更容易捕获丰富的触觉驱动数据，有望加速数据、硬件和算法的协同进化。

从技术发展的角度来看，DEXOP代表了机器人学习领域的一个重要转折点。传统方法要么依赖昂贵的仿真环境，要么受限于数据质量问题。DEXOP通过创新的硬件设计，让高质量数据的获取变得更加高效和自然。这种方法不仅提高了数据收集的效率，更重要的是提升了数据的质量和可转移性。

研究的意义远不止于技术层面。在制造业，DEXOP训练的机器人可能很快就能胜任装配线上需要精细操作的工作。在医疗领域，具备精确触觉反馈的机器人助手可能会革命性地改变手术和康复治疗。在家庭服务方面，能够精确操作各种日常用品的机器人将真正走进普通人的生活。

说到底，DEXOP的出现标志着我们向真正灵巧的机器人又迈进了一大步。虽然距离科幻电影中那些无所不能的机器人助手还有距离，但我们已经能够看到这个未来的雏形。就像最初笨重的计算机最终演变成人人手中的智能手机一样，今天的DEXOP可能就是明天普及化智能机器人的前身。

当我们想象未来的某一天，家里的机器人助手能够像人类一样轻松地为我们泡茶、整理房间，甚至协助处理精细的手工活时，我们应该记住，这个未来的实现离不开像DEXOP这样的基础技术突破。它不仅是一个巧妙的工程解决方案，更是人类在探索智能机器道路上的重要里程碑。对于那些希望深入了解这项技术的读者，可以通过论文编号2509.04441v2或访问项目网站dex-op.github.io获取更多详细信息。

Q&A

Q1：DEXOP是什么？它和传统的机器人控制方式有什么不同？

A：DEXOP是MIT研发的一套机器人训练系统，它像一副神奇的机械手套，让人类能够直接用自己的手控制机器人手，同时感受到真实的触觉反馈。与传统的远程操控不同，DEXOP让操作者能够感受到物体的硬度、重量和质感，就像直接用手操作一样自然。

Q2：DEXOP系统的数据收集效率比传统方法高多少？

A：在测试中，DEXOP的效率远超传统远程操控。比如在电钻拧螺丝任务中，远程操控者一次都没成功，而DEXOP用户平均每分钟完成6次。在灯泡安装任务中，DEXOP比远程操控快8倍，只需11秒就能完成。

Q3：DEXOP训练出来的机器人能做什么复杂的事情？

A：DEXOP训练的机器人能够完成许多需要精细操作的任务，包括安装灯泡、开启药瓶、操作注射器、使用纸张切割器等。在测试的灯具组装任务中，机器人需要用双手协作完成六个连续步骤，成功率达到51.3%，展现出了接近人类水平的操作能力。