重新定义机器人双臂协作：上海AI实验室等机构推出RoboTwin 2.0，让机器人像人类一样灵活操作

这项由上海交通大学ScaleLab、香港大学MMLab、上海AI实验室等多个知名机构联合完成的研究发表于2025年6月，有兴趣深入了解的读者可以通过arXiv:2506.18088访问完整论文。研究团队由来自16个不同机构的数十位研究人员组成，包括上海交通大学的杨小康教授、香港大学的罗平教授等知名学者。

当你看到工厂里的机器人笨拙地重复着单一动作，或者家庭服务机器人只能做一些简单任务时，你是否曾经想过：为什么机器人不能像人类一样灵活地使用双手完成复杂的操作呢？比如一只手稳住盒子，另一只手打开盖子，或者两只手配合着叠积木、倒水、递东西？

这个看似简单的问题背后，其实隐藏着机器人技术的一个巨大挑战。就像教会一个孩子用筷子需要大量练习一样，让机器人学会双手协作需要海量的训练数据和复杂的算法。而现实中收集这些训练数据成本极高，就好比要让孩子学会所有可能的筷子使用方式，你需要准备成千上万种不同的食物、不同的环境、不同的情况来让他练习。

现在，一个名为RoboTwin 2.0的突破性系统正在改变这一切。这个系统就像一个超级智能的虚拟训练场，能够自动生成各种各样的机器人训练场景，让机器人在虚拟世界中学会复杂的双手操作技能，然后将这些技能转移到真实世界中使用。

研究团队构建了一个包含731个不同物体、147个类别的庞大虚拟物品库，这就像给机器人准备了一个超级丰富的"玩具箱"。更重要的是，他们开发了一个能够自动编写任务程序的智能系统，这个系统就像一位经验丰富的老师，能够根据任务要求自动设计出详细的操作步骤，并且在虚拟环境中反复测试和改进这些步骤，直到机器人能够完美执行。

为了让机器人能够适应真实世界的复杂环境，研究团队还引入了全面的"环境随机化"策略。这就像让孩子在各种不同的环境中练习技能一样——有时在明亮的房间里，有时在昏暗的环境中；有时桌子很高，有时桌子很低；有时周围很整洁，有时周围摆满了各种杂物。通过这种方式，机器人学会的技能更加稳健，能够在各种未见过的环境中正常工作。

实验结果显示，使用RoboTwin 2.0训练的机器人在真实世界任务中的表现有了显著提升。在一些复杂的双手协作任务中，成功率从原来的9%跃升到了42%，这相当于367%的相对提升。更令人印象深刻的是，仅仅使用虚拟数据训练的机器人（零样本学习）也能在真实环境中取得不错的表现，这证明了虚拟训练的有效性。

一、虚拟世界中的机器人大脑：自动代码生成系统

要理解RoboTwin 2.0的工作原理，我们可以把它想象成一个智能的机器人教练。当我们给这个教练一个任务描述，比如"用双手将玩具车放进篮子里，然后移动篮子"，教练就会自动分解这个任务，设计出详细的执行步骤。

这个过程的核心是一个基于多模态大语言模型的自动代码生成系统。简单来说，这就像有一个非常聪明的助手，它不仅能理解文字描述，还能"看懂"图像，然后把抽象的任务要求转换成机器人能够执行的具体程序代码。

整个系统的工作流程就像一个反复试验和改进的循环过程。首先，代码生成代理会根据任务描述和预定义的技能库生成初始的Python程序。这个程序就像一份详细的操作手册，告诉机器人每一步应该做什么。然后，系统会在虚拟环境中运行这个程序10次，观察执行结果。

在执行过程中，视觉语言模型代理就像一个细心的观察员，它会逐帧检查机器人的行为，识别出可能的失败点。比如，如果机器人在抓取物体时没有成功，观察员会准确指出是"左臂抓取失败"还是"右臂抓取失败"，以及失败的具体原因。

基于这些反馈信息，代码生成代理会修改程序，就像一个学生根据老师的建议修改作业一样。这个修改-测试-再修改的循环会持续进行，直到程序的成功率超过50%，或者达到最大迭代次数（5次）。

这种闭环反馈机制的威力在于它能够自动发现和修复程序中的问题。比如，如果机器人总是在某个特定步骤失败，系统会自动调整该步骤的参数或逻辑，而不需要人工干预。实验结果显示，这种方法将代码生成的成功率从47.4%提升到了71.3%，相当于50%的相对提升。

更重要的是，这个系统大大降低了生成高质量训练数据的成本。传统方法需要专家手工编写每个任务的程序，而RoboTwin 2.0可以自动生成这些程序，并且质量往往比手工编写的还要好。这就像有了一个永不疲倦、不断学习改进的程序员，专门为机器人编写操作指令。

二、让虚拟世界更像真实世界：全方位环境随机化

想象一下，如果你只在一个完全相同的环境中练习开车——同样的路线、同样的天气、同样的时间——那么当你面对雨天、夜晚或者陌生路段时，你很可能会手足无措。机器人学习也面临同样的问题：如果只在简单、干净的虚拟环境中训练，那么在复杂多变的真实世界中就很难正常工作。

RoboTwin 2.0通过全方位的环境随机化解决了这个问题。这个系统就像一个超级现实的虚拟世界生成器，能够创造出各种各样的训练环境，让机器人在多样化的条件下学习和适应。

首先是场景杂乱化。在真实世界中，我们的桌面很少是完全空旷的——总有各种杂物、装饰品或者其他物品。为了模拟这种情况，系统会在虚拟环境中随机放置各种与任务无关的"干扰物品"。这些物品来自于RoboTwin-OD物体库，包含了731个不同的物体。但这里有个巧妙的设计：系统会避免放置与任务相关物品过于相似的干扰物，以免造成不必要的混淆。就像在教孩子认识苹果时，我们不会在旁边放太多红色的圆形物体作为干扰。

其次是背景纹理的多样化。研究团队使用了一个有趣的方法来创建背景纹理库：他们首先用大语言模型生成了1000个描述真实世界表面外观的文本提示，然后使用Stable Diffusion生成模型为每个提示创建20个纹理样本，最后通过人工筛选得到了12000个高质量纹理。这些纹理被应用到桌面和周围环境中，让机器人适应各种不同的视觉条件。

光照变化是另一个重要的随机化维度。真实世界的光照条件千变万化——从温暖的黄光到冷白的日光灯，从强烈的直射光到柔和的散射光。系统会随机调整光源的颜色、类型、强度和位置，让机器人学会在各种光照条件下识别和操作物体。这就像让孩子在不同时间、不同房间练习同一个动作，确保他们不会因为环境变化而无法执行任务。

桌面高度的变化看似微小，但对机器人的运动学和感知都有重要影响。在真实部署中，不同的工作台可能有不同的高度，即使是几厘米的差异也可能影响机器人的操作精度。因此，系统会在合理范围内随机调整桌面高度，让机器人适应这种变化。

最后是语言指令的多样化。同一个任务可以用多种不同的方式来描述，比如"把罐子放在锅的左边"也可以说成"将罐子移动到锅的左侧"或者"使用左臂将罐子放置在锅的左方"。系统会自动生成各种不同的指令表达方式，包括不同的动词选择、物体描述和句式结构，让机器人能够理解和执行各种表达方式的指令。

这种全方位的环境随机化带来了显著的效果提升。实验显示，使用随机化训练的机器人在面对未见过的环境时，性能下降幅度明显小于传统方法。这就像一个在各种条件下练习过的运动员，能够在任何比赛环境中保持稳定的表现。

三、因材施教：针对不同机器人的个性化适应

每个机器人就像每个人一样，都有自己的"身体条件"和"能力特点"。有些机器人手臂自由度高，动作灵活，就像体操运动员一样；有些机器人虽然自由度有限，但力量大、稳定性好，就像举重运动员一样。RoboTwin 2.0的一个重要创新就是能够根据不同机器人的特点，自动调整训练内容和操作策略。

这个问题的核心在于，不同机器人的运动学结构决定了它们的"擅长动作"不同。比如，高自由度的Franka机械臂可以轻松地从上方抓取物体，这种动作精确且自然；而自由度相对较低的Piper机械臂可能更适合从侧面抓取同一个物体，这样能够避免关节角度过大带来的不稳定。

为了解决这个问题，研究团队为物体库中的每个物体都标注了丰富的操作候选点。这就像为每个物品准备了一份"使用说明书"，详细描述了可以从哪些方向、用什么姿态来抓取和操作它。这些候选点不是随机分布的，而是经过精心设计，考虑了物体的几何形状、功能特点和物理约束。

更巧妙的是，系统还会根据每个机器人的运动学特点，动态调整这些候选点的优先级。对于高自由度的机器人，系统会优先考虑那些需要复杂关节配合的精确操作；对于低自由度的机器人，系统会优先选择那些简单、稳定的操作方式。这就像一个优秀的体育教练，会根据每个运动员的身体条件制定不同的训练计划。

在实际实现中，系统使用了GPU加速的运动规划器Curobo，这个工具就像一个超级智能的"动作设计师"，能够快速计算出机器人完成特定动作的最佳路径。对于每个操作候选点，系统会尝试规划相应的运动轨迹，如果规划成功，就说明这个操作方式对当前机器人是可行的；如果规划失败，就会尝试其他候选点。

这种个性化适应策略的效果在实验中得到了充分验证。对于高自由度的机器人（如Franka和UR5），这种策略带来的性能提升相对较小，因为它们本来就有足够的灵活性来完成大部分操作。但对于低自由度的机器人，效果就非常显著了。比如，Aloha-AgileX机器人的任务成功率提升了13.7%，Piper机器人更是提升了22.7%。

这个结果很好地验证了"因材施教"的价值。就像同样的教学内容，对于基础好的学生可能效果一般，但对于基础薄弱的学生可能是雪中送炭一样，个性化的操作策略对于能力受限的机器人特别有价值。

四、数字化物品库：机器人世界的"宜家目录"

要让机器人学会操作各种物品，首先需要有一个丰富多样的"物品仓库"。RoboTwin-OD就是这样一个专门为机器人设计的数字化物品库，就像一个超级详细的"宜家目录"，不仅有物品的外观，还有详细的使用说明和操作指南。

这个物品库包含了731个不同的物体，分布在147个类别中。这些物体不是简单的3D模型，而是经过精心设计和标注的"智能物品"。每个物品都像一本说明书一样，记录了它的各种属性：外观特征、物理属性、功能用途，以及最重要的——如何与它进行交互。

物品库的构建过程本身就是一个有趣的故事。研究团队使用了多种方法来获取这些物品：534个物品是通过RGB到3D重建技术自主生成的，这就像用照片"复印"出真实物品的数字版本；153个物品来自于Objaverse数据库，这些主要用作场景中的装饰和干扰物；还有44个是可以活动的复杂物品，比如有门可以开关的柜子、有盖子可以打开的盒子等。

每个物品都带有丰富的语言描述。这些描述不是简单的名称标签，而是多角度、多层次的详细描述。比如，对于一只鞋子，描述可能包括"绿色运动鞋"、"蓝绿色球鞋"、"橡胶底跑鞋"、"蓝绿色跑鞋"、"半绿半蓝球鞋"、"蓝绿色跑鞋配厚米色鞋底"等等。这种多样化的描述让机器人能够理解同一个物品的不同表达方式，就像人类能够理解"鞋子"、"球鞋"、"运动鞋"指的是同一类物品一样。

更重要的是，每个物品都标注了详细的交互信息。这包括抓取点（机器人应该抓住物品的哪个部位）、功能点（物品的关键功能部位，比如杯子的把手、瓶子的瓶口）、放置点（物品可以被放置的位置）、以及物体轴向（物品的朝向信息）。这些信息就像物品的"用户手册"，告诉机器人如何正确地与每个物品进行交互。

这种详细的标注使得机器人能够进行语义级别的操作。比如，当指令要求"抓住杯子的把手"时，机器人知道应该抓取杯子上标记为"把手"的特定区域，而不是随意抓取杯子的任何部位。这种精确的交互能力是实现复杂操作任务的基础。

物品库还考虑了物品之间的相似性关系。系统会识别哪些物品在视觉上或功能上相似，在生成杂乱场景时避免使用过于相似的干扰物品。这就像在教孩子认识动物时，我们不会在展示猫咪的同时放置太多其他小型毛茸茸的动物作为干扰，以免造成混淆。

五、50个任务的机器人技能考试

为了全面测试机器人的双手协作能力，研究团队设计了50个不同复杂程度的操作任务，这就像一个机器人技能的"期末考试"，全面检验机器人在各种情况下的表现。

这些任务覆盖了日常生活中常见的双手协作场景。有些任务考验的是基础的抓取和放置能力，比如"将玩具车放进篮子"或"把鞋子摆放整齐"；有些任务需要更复杂的双手配合，比如"两只手合作叠积木"或"一只手扶住容器，另一只手往里倒东西"；还有些任务考验的是精细操作和工具使用，比如"使用锤子敲击积木"或"操作订书机"。

每个任务都有清晰的成功标准和评估方法。比如，在"叠碗"任务中，机器人需要将多个碗按照大小顺序叠放，不仅要求最终的叠放结果正确，还要求过程中没有碗掉落或损坏。在"传递积木"任务中，机器人需要用一只手抓住积木，然后传递给另一只手，再放到指定位置，这考验的是两只手之间的精确配合。

任务的设计充分考虑了不同机器人平台的能力差异。系统支持五种不同的双臂机器人配置：Aloha-AgileX、ARX-X5、Piper、Franka和UR5。每种机器人都有自己的特点和限制，任务的执行方式也会相应调整。这就像同一门课程对不同水平的学生有不同的考试标准一样。

为了确保评估的公平性和一致性，每个任务都会进行多次测试。机器人需要在相同的任务配置下执行100次操作，系统会记录成功次数和失败原因。这种统计方法能够排除偶然因素的影响，更准确地反映机器人的真实能力水平。

测试结果显示了不同任务的难度差异。一些基础任务，比如"放置空杯子"或"移动订书机垫"，大部分机器人都能达到90%以上的成功率。但一些复杂任务，比如"打开笔记本电脑"或"操作微波炉"，成功率就要低很多，有些甚至接近0%。这种差异反映了当前机器人技术的真实水平：在简单的抓取放置任务上已经相当成熟，但在涉及复杂机构或精细操作的任务上还有很大改进空间。

六、从虚拟到现实：训练效果的验证

机器人在虚拟世界中学得再好，最终还是要在真实世界中发挥作用。这就像学开车，无论在驾校练得多熟练，上路时总还是有些紧张。RoboTwin 2.0的一个关键测试就是看它训练出来的机器人能否在真实环境中正常工作。

研究团队设计了严格的真实世界测试，使用COBOT-Magic双臂机器人平台进行验证。他们选择了四个代表性的双手协作任务：叠碗、传递积木、抓取瓶子和按铃。为了公平比较，每个任务都测试了三种不同的训练方式：仅使用真实世界数据训练、真实数据加上虚拟数据训练、以及仅使用虚拟数据训练（零样本学习）。

测试环境的设计很有讲究，分为四种不同的难度级别。最简单的是"干净桌面+熟悉背景"，这相当于在最理想的条件下测试；然后是"干净桌面+陌生背景"，测试机器人对视觉变化的适应能力；接着是"杂乱桌面+熟悉背景"，考验机器人在复杂环境中的操作能力；最难的是"杂乱桌面+陌生背景"，这最接近真实世界的复杂情况。

结果令人鼓舞。在所有测试条件下，使用RoboTwin 2.0数据增强训练的机器人都显示出明显的性能提升。特别是在复杂环境中，提升效果更加明显。比如在"杂乱桌面+陌生背景"的最困难条件下，平均成功率提升了33%。这说明虚拟环境中的多样化训练确实帮助机器人更好地适应了真实世界的复杂性。

更令人惊讶的是零样本学习的效果。完全没有使用真实世界数据、仅在虚拟环境中训练的机器人，在真实世界中的表现也相当不错。在一些任务中，零样本机器人的成功率达到了60%，这证明了虚拟训练的高质量和真实性。这就像一个只在模拟器中学过飞行的飞行员，第一次驾驶真实飞机就能平稳起飞一样令人印象深刻。

测试还发现了一个有趣的现象：机器人在复杂环境中的表现提升幅度往往比在简单环境中更大。这说明RoboTwin 2.0的环境随机化策略确实起到了作用，让机器人学会了应对各种干扰和变化的能力。简单来说，就是"练得苦，用得甜"——在复杂多变的虚拟环境中训练出来的机器人，在面对真实世界的挑战时更加从容不迫。

这些真实世界验证结果不仅证明了RoboTwin 2.0的有效性，也为未来的机器人部署提供了信心。它表明，通过精心设计的虚拟训练，我们确实可以大幅降低机器人技能获取的成本，同时保持良好的真实世界性能。

七、技术性能的全面提升

要评估一个训练系统的好坏，最直接的方法就是看数字。RoboTwin 2.0在多个关键指标上都实现了显著提升，这些数字背后反映的是实实在在的技术进步。

在代码生成方面，RoboTwin 2.0相比前一代系统实现了全面提升。平均成功率从47.4%提升到71.3%，这相当于50%的相对提升。更重要的是，系统的稳定性也大大改善了。在原来的系统中，不同任务的成功率差异很大，有些任务表现很好，有些任务几乎完全失败。而在新系统中，绝大多数任务都能达到相对稳定的成功率，这种一致性对于实际应用来说非常重要。

效率方面的提升同样显著。新系统平均只需要1.76次迭代就能达到满意的成功率，而旧系统需要2.42次迭代。这意味着生成高质量代码的速度提升了约27%。同时，每个任务的平均代码长度也大幅减少，从1465个令牌减少到840个令牌，这说明生成的代码更加简洁高效。

在机器人适应性方面，不同类型机器人的表现提升差异很大，这恰好验证了个性化适应策略的价值。高自由度机器人（如Franka和UR5）的性能基本保持稳定，因为它们本来就有足够的灵活性。但低自由度机器人的提升就非常明显了：Aloha-AgileX提升了13.7%，Piper提升了22.7%，这对于这类机器人来说是巨大的进步。

在政策学习方面，使用RoboTwin 2.0数据训练的模型在处理环境变化时表现出了更强的鲁棒性。在五个测试任务上，使用随机化数据预训练的RDT模型平均性能提升了10.6%，Pi0模型提升了8.8%。这种提升在面对未见过的环境时特别明显，说明多样化训练确实帮助模型学到了更通用的技能。

真实世界验证的数字更加令人鼓舞。在最具挑战性的"杂乱环境+陌生背景"条件下，使用RoboTwin 2.0增强的模型平均成功率比基线提升了33%。即使是零样本学习（完全没有真实世界数据），平均成功率也达到了29.5%，这在以前是难以想象的。

这些数字的意义不仅在于证明了技术的进步，更重要的是它们反映了机器人技术向实用化迈进的重要一步。过去，训练一个能够在真实世界中工作的机器人需要收集大量昂贵的真实数据，现在我们可以在很大程度上依靠虚拟训练来达到同样的效果。这不仅大幅降低了成本，也大大加快了机器人技能开发的速度。

更重要的是，这些提升是全方位的：不仅任务成功率提高了，训练效率也提高了；不仅在虚拟环境中表现更好，在真实环境中的泛化能力也更强。这种全面的进步表明，RoboTwin 2.0不是在某个单一维度上的优化，而是一个系统性的技术突破。

八、开放共享的研究生态

科学研究的价值不仅在于取得突破，更在于推动整个领域的发展。RoboTwin 2.0团队秉承开放科学的理念，将他们的所有研究成果都开放给学术界和产业界使用。

整个系统的代码库都已经在GitHub上开源，任何研究者都可以免费下载和使用。这个代码库不仅包含了核心算法的实现，还提供了详细的文档和教程，帮助其他研究者快速上手。就像一本详细的"烹饪教程"，不仅提供了食谱，还解释了每一步的原理和技巧。

更有价值的是，研究团队还公开了他们收集的超过10万条机器人操作轨迹数据。这些数据覆盖了50个不同的任务和5种不同的机器人平台，是目前最大规模的双臂机器人操作数据集之一。对于其他研究者来说，这就像获得了一个巨大的"练习题库"，可以直接用于训练和测试自己的算法。

RoboTwin-OD物体库也完全开放，包含731个精细标注的物体模型。这些模型不仅可以用于机器人训练，也可以用于计算机视觉、图形学等其他领域的研究。每个物体都有详细的语义标注和交互信息，这种丰富的标注在学术界是非常稀缺的资源。

为了方便社区使用，研究团队还建立了在线评估平台和排行榜。研究者可以在这个平台上测试自己的算法，并与其他方法进行比较。这种标准化的评估环境有助于推动领域内的公平竞争和技术进步。就像学术界的"奥运会"，为不同的研究团队提供了一个公平竞技的平台。

开放策略还体现在系统的可扩展性上。RoboTwin 2.0的架构设计充分考虑了未来的扩展需求，研究者可以轻松地添加新的任务、新的物体、甚至新的机器人平台。这种模块化的设计让整个系统像乐高积木一样，可以根据需要自由组合和扩展。

这种开放共享的做法对整个机器人学界产生了积极影响。许多研究团队已经开始基于RoboTwin 2.0开展自己的研究，有的专注于改进代码生成算法，有的致力于扩展任务种类，还有的在探索新的应用领域。这种协作式的研究模式大大加快了整个领域的发展速度。

开源还带来了意想不到的创新。一些研究者将RoboTwin 2.0与其他技术结合，开发出了新的应用。比如，有团队将其与语音识别结合，开发出了可以通过语音控制的机器人助手；还有团队将其应用于教育领域，开发出了帮助学生学习编程的机器人教具。

说到底，好的研究应该像种子一样，不是为了自己开花结果，而是为了在更广阔的土地上生根发芽，最终形成一片繁荣的森林。RoboTwin 2.0的开放策略正是这种理念的体现，它不仅推动了机器人技术的发展，也为整个AI研究社区提供了宝贵的资源和工具。

Q&A

Q1：RoboTwin 2.0到底是什么？它能为机器人做什么？ A：RoboTwin 2.0是一个智能的机器人训练系统，就像一个超级智能的虚拟教练。它能自动生成各种机器人操作任务的程序代码，在丰富多样的虚拟环境中训练机器人，让机器人学会复杂的双手协作技能。最重要的是，在虚拟世界中学到的技能可以成功转移到真实世界中使用，大大降低了机器人技能训练的成本和时间。

Q2：这个系统训练出来的机器人在真实世界中表现如何？ A：实验结果非常令人鼓舞。在复杂的真实世界任务中，使用RoboTwin 2.0训练的机器人成功率比传统方法提升了367%（从9%提升到42%）。即使是完全没有使用真实世界数据、仅在虚拟环境中训练的机器人，也能在真实环境中达到29.5%的平均成功率。这证明了虚拟训练的高质量和实用价值。

Q3：普通研究者或公司能使用RoboTwin 2.0吗？有什么要求？ A：完全可以！研究团队已经将所有代码、数据和模型完全开源，任何人都可以免费下载使用。系统支持多种常见的机器人平台，包括Franka、UR5、Piper等。用户需要有基本的编程能力和机器人硬件，系统提供了详细的文档和教程帮助快速上手。对于没有硬件的研究者，也可以先在虚拟环境中进行算法开发和测试。