机器人也能学会"七十二变"？清华大学团队让机器人从视频中学会灵巧操作

在科幻电影中，我们经常看到机器人能够像人类一样灵活地使用双手完成各种复杂任务。而在现实中，让机器人真正掌握这种"心灵手巧"的能力一直是科学家们面临的巨大挑战。不过，最近清华大学的一个研究团队带来了令人振奋的消息——他们开发出了一套名为HERMES的系统，能让机器人通过观看人类操作视频就学会各种复杂的双手协作任务。

这项突破性研究由清华大学机器人学习实验室的袁哲诚、魏天明等研究人员完成，并得到了上海期智研究院和北京大学的支持。该研究成果于2024年8月发表在机器人学习领域的顶级会议上，有兴趣深入了解的读者可以通过项目网站https://gemcollector.github.io/HERMES/获取更多信息。

要理解这项研究的重要性，我们可以把机器人学习比作教一个孩子学习新技能。传统的方法就像是手把手教学——需要专家花费大量时间亲自示范每一个动作，不仅成本高昂，而且效果有限。而HERMES系统就像是给了机器人一双"慧眼"，能够通过观看人类的操作视频自主学习，就好比一个聪明的孩子能够通过观看cooking show学会做菜一样。

这个系统最神奇的地方在于它能够处理来自多种不同来源的人类动作数据。研究团队就像是给机器人配备了一个"万能翻译器"，无论是通过虚拟现实设备采集的操作数据、专业运动捕捉设备记录的精确动作，还是普通手机拍摄的生活视频，HERMES都能够理解并转化为机器人可以执行的指令。

更令人惊叹的是，这套系统不仅让机器人学会了操作技巧，还赋予了它们移动能力。就像一个全能的家政助手，机器人不仅能在固定位置完成精细操作，还能主动移动到需要工作的地方。研究团队通过巧妙的导航定位技术，让机器人能够准确找到目标位置并执行相应任务。

这项研究的意义远超出了实验室的范围。在不远的将来，我们可能会看到这样的机器人出现在医院协助手术、在工厂进行精密组装、在家庭中帮助老人料理日常生活。HERMES系统为机器人技术的实用化迈出了坚实的一步。

**一、从人类智慧到机器灵巧——HERMES的核心理念**

要理解HERMES系统的工作原理，我们可以把它比作一个非常特殊的"学徒制"培训程序。在传统的学徒制中，师傅需要反复示范，学徒需要长时间练习才能掌握技能。但HERMES创造了一种全新的学习方式——它能够从单一的人类示范中提取精髓，然后通过智能推理掌握整套技能。

这个过程有点像我们人类学习骑自行车的经历。当我们第一次看到别人骑车时，大脑会自动分析平衡、踩踏、转向等各个要素，然后在实际练习中不断调整和完善动作。HERMES系统也是如此——它首先"观察"人类的操作视频，分解出其中的关键动作要素，然后在虚拟环境中进行大量练习，最终形成熟练的操作技能。

研究团队面临的第一个挑战是如何让机器人理解不同来源的人类动作数据。人类的手部动作极其复杂，涉及20多个关节的协调配合。而且不同的记录方式——无论是虚拟现实设备、运动捕捉系统还是普通视频——都会产生不同格式的数据。HERMES就像一个精通多种语言的翻译官，能够理解这些不同"方言"中蕴含的动作信息，并将它们统一转换为机器人能够理解的"标准语言"。

更有趣的是，HERMES不需要大量的示范数据就能学会复杂任务。传统方法往往需要成百上千个示例才能训练出可用的机器人，就像需要看很多遍才能学会一道菜的做法。而HERMES只需要一个高质量的示例，就能通过智能分析和推理掌握整个技能。这就好比一个天赋异禀的厨师只需要看一遍大厨的操作就能领悟其中精髓。

系统的核心创新在于它设计了一套通用的"奖励机制"。在机器人学习中，奖励机制就像是给学生的评分标准——它告诉机器人什么样的行为是好的，什么样的行为需要改进。传统方法需要为每种任务精心设计不同的评分标准，这不仅费时费力，而且难以保证一致性。HERMES则创造了一套万能的评分体系，就像制定了一个通用的"操作技能评估标准"，能够适用于各种不同的任务场景。

这套评分体系特别关注三个方面：首先是手与物体之间的协调关系，就像评判一个钢琴师是否能够准确按到琴键；其次是物体运动轨迹的准确性，类似于评估一个投篮手是否能让球按预期路径入网；最后是动作的平滑性，确保机器人的操作看起来自然流畅，而不是僵硬机械。

**二、虚拟训练场中的"千锤百炼"**

HERMES的学习过程就像是在一个超级先进的虚拟训练场中进行的。这个训练场不是普通的计算机模拟环境，而是一个能够精确模拟真实世界物理规律的"数字孪生世界"。研究团队花费了大量心血来构建这个虚拟环境，确保其中的每一个细节都能准确反映现实世界的情况。

在这个虚拟训练场中，机器人就像一个勤奋的学生，不知疲倦地反复练习各种操作。与人类学习不同的是，机器人可以同时运行多个"平行宇宙"的训练场景，在每个场景中尝试不同的策略和方法。这就好比同时在多个厨房里练习做菜，每个厨房都有不同的条件和挑战，通过这种"多线程"学习方式，机器人能够快速积累经验并找到最优解。

虚拟训练的一个关键优势是能够创造各种极端或危险的练习场景。在现实中，让机器人反复练习一个可能损坏昂贵设备的操作是不现实的。但在虚拟环境中，机器人可以放心大胆地尝试，即使"搞砸"了也不会造成任何损失。这就像飞行员在飞行模拟器中练习应对各种紧急情况一样，能够在安全的环境中积累宝贵经验。

为了让虚拟训练更加高效，研究团队还开发了一种巧妙的"分层学习"策略。机器人的学习过程被分为粗略控制和精细调节两个层次。粗略控制就像是学习一个动作的大致轮廓——比如伸手去够一个物体的大概方向；而精细调节则关注细节——比如如何精确地抓住物体而不会滑落。这种分层方法大大提高了学习效率，就像先学会走路再学会跳舞一样自然。

虚拟训练场还有一个重要特点是能够自动生成各种变化的练习场景。机器人不是只在一种固定环境中练习，而是要面对各种不同的情况——物体的位置可能发生变化，光线条件可能不同，甚至物体的形状和大小也会有所变化。这种多样化训练确保了机器人具备良好的适应性，就像一个经验丰富的厨师能够在任何厨房中都能烹制出美味佳肴。

**三、从虚拟到现实的"魔法桥梁"**

虽然机器人在虚拟环境中训练得再好，最终还是要在现实世界中发挥作用。这就像一个在驾驶模拟器中练得炉火纯青的新手，第一次真正上路时还是会感到紧张和不适应。虚拟世界和现实世界之间存在着各种细微但重要的差异，如何跨越这道鸿沟是HERMES系统需要解决的关键问题。

研究团队采用了一种极其巧妙的解决方案——他们让机器人使用深度相机来"看"世界。深度相机不仅能捕获物体的颜色和形状，还能测量物体的距离信息，就像给机器人配备了一双能够感知三维空间的"鹰眼"。更重要的是，深度图像相比普通彩色图像有一个巨大优势：它不会受到光线变化、颜色差异等因素的干扰，就像黑白照片比彩色照片更能突出轮廓和结构一样。

为了进一步缩小虚拟和现实之间的差距，研究团队开发了一套专门的图像处理技术。他们就像是给机器人配备了一副特殊的"眼镜"，这副眼镜能够让虚拟环境中看到的景象和现实世界中的景象变得更加相似。具体来说，他们对虚拟环境中的深度图像进行了各种处理——添加噪声来模拟真实传感器的不完美、模糊边缘来模拟现实中的成像特点、甚至故意制造一些"缺失点"来模拟真实深度相机的盲区。

这种处理就像是给在温室中长大的植物逐渐适应户外环境的过程。通过在虚拟环境中提前"体验"各种现实世界的不完美因素，机器人在真正面对现实环境时就能够从容应对。研究团队甚至使用了真实的深度数据来"调味"虚拟图像，就像在模拟咖啡中加入真实咖啡豆的香气一样，让虚拟体验更加接近现实。

最令人印象深刻的是，HERMES采用了一种"混合控制"策略。在这种策略中，机器人的"大脑"（视觉处理和决策系统）在现实世界中工作，但"身体"的动作计算仍然依托于精确的虚拟模型。这就像是让一个经验丰富的指挥官在现场观察战况并做出决策，但具体的战术执行仍然依靠经过反复演练的标准程序。这种混合方式既保证了对现实环境的准确感知，又利用了虚拟环境中积累的精确控制经验。

**四、机器人的"千里眼"——导航定位技术**

拥有了灵巧的操作能力还不够，HERMES系统还要让机器人具备"千里眼"般的导航能力。这就像给一个技艺精湛的工匠装上了轮子，让他能够主动寻找需要帮助的地方。机器人的导航系统就像是一个经验丰富的出租车司机，不仅要知道目的地在哪里，还要找到最佳路线并准确到达指定位置。

HERMES的导航系统基于一个叫做ViNT的基础导航模型。这个模型就像是给机器人配备了一个"超级GPS"，但与普通GPS不同的是，它不依赖卫星信号，而是通过视觉识别来判断位置和方向。机器人就像一个善于观察的旅行者，通过记住沿途的地标和景物来找到回家的路。

这种视觉导航方式有很多优势。首先，它不受GPS信号覆盖限制，无论是在室内、地下室还是高楼密集的城市峡谷中都能正常工作。其次，它能够识别和记忆环境中的细微变化，就像一个熟悉自己家乡的人能够发现街角新开了一家店铺一样。最重要的是，这种导航方式非常适合与精细操作任务结合，因为它本身就基于视觉感知。

但是，普通的导航系统往往只能做到"大致到达"目标位置，就像出租车司机把乘客送到目的地附近的路口就算完成任务了。而对于需要进行精细操作的机器人来说，这种精度是远远不够的。研究团队因此开发了一套精确定位系统，就像给机器人装上了"显微镜级别的GPS"。

这套精确定位系统使用了一种叫做"闭环PnP"的技术。PnP的全称是"Perspective-n-Point"，听起来很学术，但其实原理很简单。就像我们通过对比手机拍摄的照片和目标照片来判断自己是否到了正确位置一样，机器人也会不断拍摄当前环境的照片，与目标位置的照片进行对比，然后微调自己的位置直到两张照片完全匹配。

这个过程就像是玩一个高科技版的"找不同"游戏。机器人会识别当前环境和目标环境中的各种特征点——比如桌子的边角、墙壁的纹理、物体的轮廓等，然后通过数学计算确定自己需要如何移动才能让这些特征点完美对齐。整个过程是实时进行的，机器人会像一个精确的调音师调节钢琴音准一样，不断微调自己的位置直到达到毫米级的精度。

**五、从理论到实践的完美转化**

HERMES系统最令人信服的地方在于它不仅在理论上表现出色，在实际应用中也展现了惊人的能力。研究团队设计了一系列具有挑战性的测试任务，这些任务就像是机器人技能的"十八般武艺"考试，涵盖了从简单的物体传递到复杂的多步骤操作的各种场景。

其中最具代表性的是"瓶子交接"任务。这个看似简单的任务实际上需要机器人协调左右两只手，先用右手抓住瓶子，然后稳定地传递给左手，最后将瓶子放入指定容器中。这个过程需要精确的力度控制、完美的时机把握和流畅的动作协调，就像杂技演员在表演抛球接球一样需要高度的技巧。

另一个令人印象深刻的任务是"清理桌面"。机器人需要识别桌面上的多个物品，然后依次将它们整理到合适的位置。这个任务不仅考验机器人的识别能力，还要求它具备规划能力——需要决定先处理哪个物品，如何安排动作顺序才能最高效地完成任务。这就像一个有条不紊的管家在整理房间，每一个动作都经过深思熟虑。

在"倒茶"任务中，机器人需要展现更高级的技巧。它必须同时控制两只手——一只手举起茶壶，另一只手扶住茶杯，然后以合适的角度和速度将茶水倒入杯中，既不能溅出也不能倒空。这种任务需要对液体动力学有准确的理解，就像一个经验丰富的茶艺师能够控制茶水的流向和流量。

实验结果显示，HERMES系统在这些任务中的成功率普遍达到了60-70%，这在机器人双手协作领域已经是相当出色的表现。更重要的是，机器人展现出了良好的泛化能力——即使面对与训练时略有不同的环境或物体，它仍然能够成功完成任务。这就像一个技艺纯熟的工匠能够在不同的工作环境中都发挥出色的水平。

研究团队还测试了系统的学习效率。结果显示，HERMES只需要观看一次人类示范就能掌握基本技能，然后通过相对较少的虚拟训练就能达到实用水平。这种高效的学习能力大大降低了机器人技能开发的成本，就像找到了一种"速成班"式的机器人培训方法。

**六、技术创新的深层解析**

HERMES系统的成功并非偶然，而是基于多项关键技术创新的协同作用。这些创新就像是一座复杂建筑中的各个承重结构，每一个都发挥着不可替代的作用。

首先是多源数据融合技术。传统的机器人学习系统通常只能处理一种类型的输入数据，就像只会读一种语言的图书管理员。而HERMES就像是一个精通多国语言的翻译官，能够理解和整合来自不同来源的人类动作信息。无论是虚拟现实设备捕获的高精度手部动作、运动捕捉系统记录的全身协调信息，还是普通视频中提取的操作序列，HERMES都能将它们转换为统一的"机器人语言"。

这种融合过程使用了先进的数据对齐和标准化技术。研究团队开发了一套智能的"翻译算法"，能够自动识别不同数据源的特点和局限性，然后进行相应的补偿和调整。这就像一个经验丰富的口译员不仅能翻译语言，还能理解不同文化背景下的表达习惯，确保信息传达的准确性。

其次是创新的奖励函数设计。传统方法需要为每个具体任务精心设计奖励机制，这不仅费时费力，还容易产生不一致的评价标准。HERMES创造性地提出了基于"物体中心距离链"的通用奖励函数。这个函数就像是制定了一套普适的"操作技能评分标准"，能够自动评估任何双手协作任务中的表现质量。

这套评分标准特别关注手与物体之间的动态关系。它不仅考虑静态的位置关系，还分析动作的时序特征和协调程度。就像评判一位钢琴演奏家的表现不仅要看音符的准确性，还要考虑节奏、力度和情感表达的协调统一。这种综合评价方式确保了机器人学到的不仅是机械的动作模仿，而是真正理解任务的本质要求。

第三个重要创新是残差动作学习策略。这个听起来复杂的术语其实对应一个很直观的想法：机器人的动作可以分解为粗略的基础动作和精细的调整动作。粗略动作来自人类示范，为机器人提供了动作的大致框架；而精细调整则通过学习获得，用于应对具体环境中的微妙变化。

这种方法就像学习书法——初学者先临摹字帖掌握字的基本结构，然后在实际书写中根据纸张、毛笔的特点进行微调。这样既保证了动作的自然性（因为基础结构来自人类），又确保了适应性（因为细节调整是针对具体情况学习的）。

最后是深度图像处理和混合控制技术。研究团队针对机器人视觉感知的特点，开发了专门的深度图像增强和噪声模拟算法。这些算法就像给机器人戴上了一副"智能眼镜"，能够在虚拟环境中提前"预演"各种现实世界的视觉挑战。

混合控制策略更是巧妙地结合了虚拟环境的精确性和现实环境的真实性。机器人的决策基于真实的视觉输入，但动作执行依托于经过大量训练的虚拟模型。这种"实虚结合"的方式既保证了对现实情况的准确响应，又利用了虚拟训练的丰富经验。

**七、实验验证与性能表现**

为了充分验证HERMES系统的能力，研究团队进行了大量严格的实验测试。这些实验就像是对一个全能选手的综合考核，从不同角度检验系统的各项性能指标。

在学习效率方面，HERMES表现出了令人惊叹的能力。与需要大量示范数据的传统方法相比，HERMES只需要一个高质量的人类示范就能开始学习过程。在后续的虚拟训练中，它通常只需要300万次训练步骤就能达到实用水平，这个数字在机器人学习领域已经是相当高效的表现。

更重要的是，HERMES在不同类型任务上都表现出了稳定的性能。无论是需要精确力度控制的"倒茶"任务，还是需要复杂规划的"清理桌面"任务，系统都能在相似的训练时间内达到可接受的成功率。这种一致性表明HERMES的学习方法确实抓住了双手协作任务的核心要素。

在现实世界的测试中，HERMES系统在六个不同任务上的平均成功率达到了67.8%。虽然这个数字看起来还不是特别高，但考虑到这些都是复杂的双手协作任务，而且机器人是在完全未见过的环境中"零样本"执行的，这个结果已经相当令人鼓舞了。

特别值得注意的是，HERMES在泛化能力方面表现出色。当研究团队故意改变物体的形状、颜色或位置时，机器人仍然能够保持较高的成功率。在"瓶子交接"任务中，即使换成了与训练时完全不同形状的瓶子，机器人的成功率依然保持在60%以上。这说明系统学到的不是简单的动作记忆，而是对任务本质的深层理解。

导航定位系统的表现同样令人印象深刻。在多个测试场景中，HERMES的定位误差都控制在了厘米级别。具体来说，在室内场景中，位置误差平均为2.4厘米，方向误差为1.79度；即使在相对困难的户外环境中，误差也分别控制在3.2厘米和1.67度。这种精度已经完全满足后续精细操作的要求。

更令人惊喜的是，HERMES在一些特殊环境中也表现出了强大的适应性。在几乎没有明显特征的"纹理缺失"环境中，传统的视觉导航系统往往会失效，但HERMES仍然能够通过其精密的特征匹配算法实现准确定位。这就像一个经验丰富的导航员即使在大雾天气中也能找到正确的路线。

研究团队还进行了详细的对比实验，将HERMES与其他先进的机器人学习系统进行了比较。结果显示，在相同的训练条件下，HERMES在所有测试任务上都取得了最佳性能。特别是在复杂的多物体操作任务中，HERMES的优势更加明显，成功率比对比方法高出了54.5个百分点。

**八、技术挑战与解决方案**

虽然HERMES系统取得了显著成功，但研究团队在开发过程中也遇到了许多技术挑战。这些挑战就像攀登技术高峰路上的重重障碍，需要创新的思维和巧妙的解决方案来逾越。

首先面临的挑战是如何处理不同数据源之间的巨大差异。人类的手部动作极其复杂，而且不同的记录设备会产生完全不同格式的数据。虚拟现实设备能够提供高精度的手指关节角度，但缺乏与环境的交互信息；运动捕捉系统能够记录精确的空间位置，但可能丢失细微的手指动作；普通视频虽然包含丰富的上下文信息，但精度有限且容易受到遮挡影响。

研究团队的解决方案就像建立了一个"数据联合国"，为每种数据源都配备了专门的"翻译官"。针对虚拟现实数据，他们开发了与环境交互的补偿算法；针对运动捕捉数据，他们设计了手指动作的插值估计方法；针对视频数据，他们创造了基于深度学习的姿态提取和优化技术。最终，所有不同来源的数据都被统一转换为机器人能够理解的标准格式。

第二个重大挑战是虚拟训练与现实应用之间的差距。无论虚拟环境模拟得多么精确，总是会有一些细微但重要的差异无法完美复制。物体的表面摩擦、材料的弹性、传感器的噪声特性等因素都会影响机器人的实际表现。

为了解决这个问题，研究团队采用了一种"渐进适应"的策略。他们不是试图让虚拟环境变得完美，而是让机器人逐步适应真实世界的"不完美"。在虚拟训练的后期阶段，他们故意向环境中引入各种现实因素——随机的传感器噪声、不规则的物体形状、变化的光线条件等。这就像让温室中的植物逐渐适应户外环境一样，确保机器人在真实世界中也能保持良好的表现。

第三个挑战是如何设计一个既通用又有效的奖励机制。传统方法为每个任务单独设计奖励函数，虽然能够获得不错的性能，但缺乏一致性和可扩展性。而如果奖励函数过于通用，又可能缺乏针对性，难以引导机器人学会复杂的技能。

HERMES的创新解决方案是基于"物体中心距离链"的奖励设计。这个方法的巧妙之处在于它抓住了所有双手协作任务的共同本质——手与物体之间的协调关系。无论是传递物品、操作工具还是组装零件，核心都是如何让双手与目标物体保持合适的相对位置和运动关系。基于这个洞察，研究团队设计了能够自动评估这种关系质量的通用奖励函数。

最后一个重要挑战是如何实现精确的导航定位。传统的导航系统虽然能够实现大范围的移动，但精度往往只能达到米级别，这对于需要进行精细操作的任务来说是远远不够的。而传统的精密定位方法又往往需要昂贵的专业设备或者预先建立的精确地图。

研究团队的解决方案结合了粗略导航和精细定位的优势。他们首先使用基于视觉的导航系统将机器人引导到目标区域附近，然后启动基于特征匹配的精确定位算法进行最后的位置调整。这种"粗细结合"的方法既保证了大范围移动的效率，又实现了最终定位的精度。

**九、未来应用前景与影响**

HERMES系统的成功不仅仅是一项技术突破，更为机器人技术的实际应用开辟了广阔前景。这项技术就像是为机器人世界打开了一扇通向实用化的大门，让我们能够glimpse到未来智能机器人与人类协同工作的美好景象。

在医疗健康领域，HERMES技术有望带来革命性的变化。外科手术机器人可以通过观看资深医生的手术视频学习各种复杂的操作技巧，然后在实际手术中提供精确的辅助。这不仅能够提高手术的精度和一致性，还能让世界各地的患者都享受到顶级专家的技术水平。康复机器人也能够学习理疗师的手法，为行动不便的老人和残疾人提供专业的康复训练和日常护理。

在制造业中，HERMES技术能够大大降低工业机器人的部署成本和时间。传统的工业机器人需要专业工程师花费数月时间进行编程和调试，而使用HERMES技术的机器人只需要观看熟练工人的操作视频就能快速掌握新技能。这对于中小型企业来说尤其有价值，因为它大大降低了自动化的门槛。

家庭服务机器人也将因为这项技术而变得更加实用。未来的家庭机器人可以通过观看家庭成员的日常操作学会各种家务技能——从叠衣服、洗碗到照料植物，每个家庭都能拥有一个真正"懂事"的智能助手。对于独居老人和行动不便的人群，这样的机器人助手将极大改善他们的生活质量。

在教育领域，HERMES技术也展现出了巨大潜力。机器人教师助手可以学习优秀教师的教学手势和操作技巧，然后在实验教学中为学生提供标准化的演示。这对于一些需要精确手部操作的技能培训——比如乐器演奏、手工艺制作、实验操作等——特别有价值。

更有意思的是，HERMES技术还可能催生全新的服务业态。我们可以想象未来会出现"技能银行"——收集各行各业专家的操作视频，然后训练专门的机器人来提供相应服务。比如专门调酒的机器人、专门按摩的机器人、专门做指甲美容的机器人等，每一个都能够复现人类专家的精湛技艺。

从更宏观的角度看，HERMES技术代表了人工智能发展的一个重要方向——从纯粹的数据驱动转向更加智能的学习方式。它展示了如何让机器真正理解和学习人类的技能，而不是简单地记忆和重复。这种"理解式学习"将是通向真正通用人工智能的重要一步。

当然，技术的进步也会带来一些需要深思的问题。当机器人变得越来越像人类一样灵巧时，人类工作岗位的变化将是不可避免的。但历史告诉我们，技术进步往往会创造出我们现在还无法想象的新工作机会和价值创造方式。重要的是如何引导这种变革朝着有利于人类整体福祉的方向发展。

总的来说，HERMES系统为我们展示了一个充满可能性的未来。在这个未来中，机器人不再是冰冷的工业设备，而是能够理解、学习和协助人类的智能伙伴。虽然我们距离这个愿景的完全实现还有一段路要走，但HERMES已经为我们铺就了通往这个未来的技术基石。

说到底，HERMES系统最令人兴奋的地方不在于它的技术细节，而在于它为人类与机器人协作开创的新可能。当机器人能够通过简单地"观看"就学会复杂技能时，我们与人工智能的关系也将发生根本性变化。我们不再需要成为程序员才能教会机器人新技能，每一个普通人都可能成为机器人的"老师"。这种democratization of robot training将让智能技术真正走进千家万户，为每个人的生活带来实实在在的改善。当然，这项技术目前还处在实验室阶段，距离大规模商业应用还需要时间。但正如研究团队所展示的，技术的边界正在被一步步推进，未来已经不再遥远。

**Q&A**

Q1：HERMES系统是什么？它能做什么？

A：HERMES是清华大学开发的一套机器人学习系统，它最神奇的地方是能让机器人通过观看人类操作视频就学会复杂的双手协作任务。系统不仅能处理虚拟现实设备、运动捕捉系统和普通视频等不同来源的人类动作数据，还能让机器人具备移动导航能力，像一个全能助手一样在不同环境中执行各种精细操作任务。

Q2：HERMES系统如何从虚拟训练转换到现实应用？

A：HERMES采用了巧妙的"虚实结合"策略。机器人先在高度逼真的虚拟环境中进行大量练习，系统会故意在虚拟环境中添加各种现实因素如噪声、模糊等，让机器人提前适应现实世界的"不完美"。然后使用特殊处理的深度相机作为"桥梁"，加上混合控制技术，让机器人能够顺利从虚拟世界过渡到现实应用。

Q3：HERMES系统的学习效率如何？成功率有多高？

A：HERMES的学习效率非常高，只需要观看一次人类示范就能开始学习，通过300万次虚拟训练步骤就能达到实用水平。在六个不同的现实世界任务测试中，系统的平均成功率达到了67.8%，在复杂的双手协作任务中这已经是相当出色的表现，而且机器人还展现出了良好的适应性，即使面对与训练时不同的环境也能保持较高成功率。