机器人团队协作新突破：上海人工智能实验室让多个机器人像人类团队一样高效合作

这项由上海人工智能实验室的康立、宋秀峰、周恒等研究人员领导的突破性研究发表于2025年6月，论文题为《VIKI-R: Coordinating Embodied Multi-Agent Cooperation via Reinforcement Learning》。有兴趣深入了解的读者可以通过arXiv:2506.09049v1访问完整论文。该研究首次建立了一个全面的机器人团队协作评估体系，并开发出能让不同类型机器人像人类团队一样高效合作的人工智能系统。

在科幻电影《机械公敌》中，超级计算机VIKI能够指挥成千上万个机器人协调行动，这种令人震撼的场景一直是人工智能研究者的梦想。如今，这个梦想正在变成现实。想象一下这样的场景：在一个繁忙的厨房里，一个高大的人形机器人正在清洗苹果，一个灵活的轮式机器人负责从高处柜子里取马克杯，还有两个机械臂在默契地传递物品。它们就像训练有素的餐厅团队一样，每个成员都清楚自己的任务，知道何时行动，如何配合。这不是科幻小说，而是上海人工智能实验室最新研究成果所展现的真实能力。

这项研究解决了一个长期困扰机器人领域的核心难题：如何让不同类型的机器人像人类团队一样协调工作。就像一个优秀的足球队需要守门员、后卫、中场和前锋各司其职又相互配合一样，现实世界的复杂任务往往需要不同特长的机器人共同完成。比如清洁任务可能需要能够精细操作的机械臂来洗涤物品，同时需要移动能力强的轮式机器人来搬运重物，还需要能够到达高处的机器人来清理橱柜顶部。然而，让这些"性格"迥异的机器人团队成员学会有效沟通和协作，一直是一个巨大的技术挑战。

研究团队的创新之处在于，他们不仅开发了一套全新的机器人团队协作训练方法，还建立了世界上第一个专门评估机器人视觉协作能力的综合测试平台VIKI-Bench。这个平台就像机器人界的"奥运会"，通过三个不同层次的测试项目来全面评估机器人团队的协作水平。同时，他们还开发了VIKI-R框架，这是一个能够教会机器人团队如何通过观察环境、理解任务、制定计划并执行行动来完成复杂协作的人工智能系统。

一、机器人团队协作的三重挑战与解决方案

传统的机器人研究往往专注于单个机器人的能力提升，就像只关注个人技能而忽略团队配合的运动训练一样。然而，现实世界的任务复杂性要求我们必须让多个机器人协同工作。研究团队深入分析了机器人团队协作面临的核心挑战，发现了三个关键层面的问题。

第一个挑战是"队员选择"问题。当面临一个具体任务时，系统需要从可用的机器人中选择最合适的"队员"组合。这就像组建一个搬家团队，你需要根据具体的搬家需求来决定是否需要力气大的工人、会开卡车的司机，还是擅长包装易碎物品的专家。在机器人世界里，不同的机器人有着截然不同的"特长"：人形机器人善于精细操作和双手协调，轮式机器人移动迅速且能到达高处，而四足机器人则在复杂地形中表现出色。系统必须能够通过观察环境和理解任务需求，智能地选择最佳的机器人组合。

第二个挑战是"任务规划"问题。一旦确定了团队成员，系统就需要为整个团队制定一个详细的行动计划。这个过程类似于制定一个复杂的烹饪食谱，不仅要确定每道工序的具体步骤，还要合理安排时间顺序，确保不同的"厨师"能够在正确的时间做正确的事情。比如在准备一顿晚餐时，一个机器人可能需要先清洗蔬菜，另一个机器人同时准备肉类，第三个机器人则负责加热烤箱。这些任务之间存在复杂的依赖关系和时间约束，系统必须能够生成既可行又高效的协作计划。

第三个挑战是"精确执行"问题。即使有了完美的计划，机器人还需要在复杂的真实环境中精确地执行这些计划。这就像交响乐团的演奏，每个乐手不仅要演奏好自己的部分，还要与其他乐手保持完美的节奏和配合。机器人需要根据视觉观察来预测自己和队友的移动轨迹，避免碰撞，确保物品的顺利传递。

为了应对这些挑战，研究团队开发了一套层次化的解决方案。他们将机器人团队协作分解为三个递进的层次：首先是智能的队员激活系统，能够根据任务特点自动选择最合适的机器人组合；其次是协作规划引擎，负责为整个团队生成详细的行动计划；最后是轨迹感知系统，确保每个机器人都能在复杂环境中精确执行分配给它的任务。

这种分层方法的巧妙之处在于，它模仿了人类团队协作的自然过程。当人类面临一个复杂任务时，我们首先会考虑需要什么样的团队成员，然后大家一起商讨行动计划，最后每个人在执行过程中根据实际情况调整自己的行为。研究团队将这种直观的协作模式转化为机器人能够理解和执行的算法框架。

二、VIKI-Bench：机器人团队协作的"奥运会"

为了客观评估不同机器人系统的团队协作能力，研究团队创建了一个名为VIKI-Bench的综合测试平台。这个平台就像机器人界的"奥运会"，通过标准化的测试项目来公平比较不同系统的性能。

VIKI-Bench的设计理念源于一个重要观察：现有的机器人评估体系往往只关注单个机器人的能力，缺乏对团队协作能力的系统性评估。这就像只测试足球运动员的个人技能而不评估他们的团队配合能力一样，无法全面反映在真实比赛中的表现。因此，研究团队决定从零开始构建一个专门针对多机器人协作的评估体系。

这个测试平台包含了三个层次的评估项目，每个层次都对应机器人团队协作的一个关键能力。第一个层次是"队员激活"测试，评估系统是否能够根据任务需求和环境条件选择合适的机器人组合。测试场景包括各种家庭和工业环境，从简单的物品整理到复杂的协作制造任务。系统需要观察环境图像，理解任务描述，然后从六种不同类型的机器人中选择最适合的组合。

第二个层次是"任务规划"测试，评估系统为多机器人团队生成可行且高效协作计划的能力。这个测试特别具有挑战性，因为系统不仅要确保生成的计划在逻辑上可行，还要考虑时间效率和资源分配的优化。测试平台会检查计划中的每个步骤是否符合物理约束，是否存在时间冲突，以及是否能够达成预定目标。为了确保评估的公平性，平台还建立了一个迭代改进机制，当系统生成的初始计划存在问题时，会提供具体的反馈信息，允许系统进行修正。

第三个层次是"轨迹感知"测试，评估系统在复杂环境中精确预测和控制多个机器人运动轨迹的能力。这个测试使用机器人的第一人称视角图像，要求系统预测自己和其他可见机器人的未来移动路径。测试采用了三种不同的评估指标：均方根误差用于衡量轨迹预测的整体精度，豪斯多夫距离评估轨迹形状的相似性，离散弗雷歇距离则考虑了时间序列的匹配程度。

VIKI-Bench的数据规模令人印象深刻。整个平台包含了超过23000个测试样本，涵盖100个不同的场景环境。这些场景基于RoboCasa仿真平台构建，包含了从家庭厨房到工业车间的各种真实环境。每个场景都配置了丰富的物体组合和多样的空间布局，确保测试的全面性和挑战性。平台支持六种不同类型的机器人，包括人形机器人、轮式机械臂、四足机器人、固定机械臂等，每种机器人都有其独特的能力特征和适用场景。

三、VIKI-R：让机器人学会团队合作的智能教练

在建立了评估平台之后，研究团队面临的下一个挑战是如何训练机器人系统在这些测试中取得优秀成绩。他们开发了一个名为VIKI-R的训练框架，这个框架就像一位经验丰富的团队教练，能够系统地教会机器人如何进行有效的团队协作。

VIKI-R的核心创新在于采用了一种两阶段的训练策略。这种方法类似于培养一支专业团队的过程：首先通过系统性的理论学习和案例分析让团队成员掌握基本的协作原理，然后通过大量的实战练习和反馈来提升实际表现。

在第一个阶段，也就是"监督学习预热"阶段，系统通过学习大量的专家示范来掌握基本的协作技能。研究团队精心准备了一系列高质量的训练样本，每个样本都包含了详细的思维过程说明和最终的解决方案。这些训练样本采用了"思维链"的标注方式，就像详细的教学视频一样，不仅展示了正确的答案，还解释了得出这个答案的推理过程。

例如，在处理一个"清洗水果"的任务时，训练样本会这样标注思维过程："首先观察场景，我看到桌子上有苹果和番茄需要清洗，还有一个高处的橱柜。考虑到任务需求，人形机器人最适合操作水龙头进行清洗工作，因为它有灵活的双手。轮式机器人适合取高处的物品，因为它可以伸展到足够的高度。因此，我选择激活一个人形机器人和一个轮式机器人来完成这个任务。"这种详细的推理过程帮助系统理解专家是如何分析问题和做出决策的。

在第二个阶段，也就是"强化学习优化"阶段，系统通过不断的试错和反馈来进一步提升性能。这个过程类似于运动员通过大量训练来提高竞技水平。系统会生成多种不同的解决方案，然后根据实际效果获得奖励或惩罚信号，从而学会哪些策略更有效。

VIKI-R的奖励机制设计得非常精巧，包含了格式奖励和准确性奖励两个方面。格式奖励确保系统能够按照规范的方式表达自己的思考过程和最终答案，就像要求学生不仅要得出正确答案，还要清楚地展示解题步骤一样。准确性奖励则根据不同层次的任务采用了相应的评估标准。

对于队员激活任务，系统只有在选择的机器人组合与标准答案完全一致时才能获得奖励。这种严格的评估标准确保了系统能够做出最优的选择，而不是仅仅接近正确答案。

对于任务规划，评估标准更加复杂和实用。系统生成的计划必须满足两个条件才能获得奖励：首先，计划必须在逻辑上可行，也就是说每个步骤都必须符合物理约束和机器人能力限制；其次，计划的长度不能超过标准答案，这鼓励系统寻找更高效的解决方案。这种设计理念认为，在满足任务要求的前提下，更简洁的计划通常意味着更好的资源利用和更快的执行速度。

对于轨迹感知任务，系统采用了三种几何距离指标的组合来评估预测质量。这些指标从不同角度衡量预测轨迹与真实轨迹的相似性：均方根误差关注整体的位置精度，豪斯多夫距离评估形状相似性，离散弗雷歇距离则考虑了时间序列的匹配程度。通过综合这三个指标，系统能够学会生成既准确又符合时间约束的运动轨迹。

四、突破性实验结果：机器人团队协作能力的显著提升

研究团队通过大量的对比实验验证了VIKI-R框架的有效性。实验结果显示，经过VIKI-R训练的系统在所有三个层次的任务上都取得了显著的性能提升，证明了这种两阶段训练方法的优越性。

在队员激活任务上，VIKI-R取得了令人瞩目的成绩。以7B参数的Qwen2.5-VL模型为例，经过VIKI-R训练后，系统在域内测试中的准确率达到了95.22%，在域外测试中也达到了33.25%的准确率。这意味着系统不仅能够在熟悉的环境中做出正确的队员选择，还具备了一定的泛化能力，能够应对之前没有见过的新场景。相比之下，仅使用传统监督学习方法训练的系统在域外测试中的准确率只有25.62%，显示出强化学习在提升泛化能力方面的重要作用。

更有趣的是，研究团队发现模型规模对性能有显著影响。3B参数的模型经过VIKI-R训练后，在域内测试中的准确率为93.61%，在域外测试中为32.11%。虽然这些数字略低于7B模型，但考虑到计算资源的节省，这种性能差异是可以接受的。这一发现为实际部署提供了重要的参考：用户可以根据具体的应用需求和计算资源限制来选择合适的模型规模。

在任务规划方面，VIKI-R同样表现出色。7B模型在域内任务规划测试中的准确率达到了95.22%，远超其他基线方法。特别值得注意的是，VIKI-R不仅能生成可行的计划，还能确保计划的效率。研究团队引入了"步骤惩罚"机制，鼓励系统生成更简洁的计划。实验表明，这种机制使得系统生成的计划平均比标准答案短了1.92个步骤，同时在困难任务上的准确率提升了88%。

轨迹感知任务的结果进一步证实了VIKI-R的有效性。在这个最具挑战性的任务中，系统需要根据第一人称视角的图像来预测多个机器人的运动轨迹。7B模型在三个评估指标上的平均分数为77.82，显著优于所有对比方法。这个结果特别令人印象深刻，因为轨迹预测涉及复杂的空间推理和时间序列建模，是机器人领域的一个长期难题。

研究团队还进行了详细的消融实验来分析VIKI-R各个组件的贡献。他们发现，如果跳过监督学习预热阶段直接进行强化学习（VIKI-R-Zero），系统的性能会显著下降。这表明监督学习阶段提供的基础知识对于后续的强化学习优化至关重要。同时，他们也验证了不同奖励机制的重要性，发现格式奖励和准确性奖励的结合能够产生最佳的训练效果。

更深入的分析揭示了一些有趣的训练动态。在强化学习阶段的早期，系统首先专注于满足格式要求，输出长度会暂时减少。一旦格式准确率达到饱和，系统就会转向优化任务准确性，输出长度逐渐增加以包含更详细的推理过程。这种"先格式后内容"的学习模式与人类学习新技能的过程非常相似。

五、迭代反馈机制：让机器人从错误中学习

VIKI-R框架的另一个重要创新是引入了迭代反馈机制，这个机制使得系统能够从失败中学习并不断改进。这种方法类似于一位耐心的老师，当学生做错题目时不是简单地给出正确答案，而是指出错误所在，给学生重新思考和改正的机会。

在任务规划阶段，当系统生成的初始计划存在问题时，评估系统会提供具体的反馈信息。例如，如果计划中某个步骤在物理上不可行，反馈系统会明确指出："第3步中要求机器人A同时执行两个动作，这违反了每个时间步只能执行一个动作的约束。"基于这种详细的反馈，系统可以修正计划并重新提交评估。

这种迭代过程一直持续到生成可行的计划为止。实验结果显示，迭代反馈机制能够显著提升计划的成功率。以GPT-4o为例，使用迭代反馈后，在3次尝试中成功生成可行计划的概率从18.7%提升到20.6%，在6次尝试中的成功率从18.7%提升到22.3%。虽然提升幅度看似不大，但考虑到基础成功率较低，这种改进实际上是相当显著的。

研究团队还发现，不同的模型对迭代反馈的响应程度不同。Gemini-2.5-Flash在使用反馈机制后表现出最显著的改进，这可能与其强大的错误理解和修正能力有关。这一发现为选择合适的基础模型提供了重要参考。

六、模型规模与性能的平衡：小模型也能有大作为

一个令人关注的发现是，模型规模虽然重要，但并非决定性因素。研究团队对比了3B和7B两种不同规模的模型，发现在VIKI-R框架的帮助下，即使是较小的3B模型也能达到相当不错的性能水平。

在队员激活任务中，3B模型经过VIKI-R训练后达到了74.10%的域内准确率和32.11%的域外准确率，虽然略低于7B模型的93.00%和33.25%，但差距并不算巨大。这个结果对实际应用具有重要意义，因为较小的模型在部署时需要更少的计算资源，运行速度更快，更适合资源受限的环境。

研究团队通过详细分析发现，小模型在简单任务上的表现与大模型几乎没有差异，主要差距体现在复杂场景的处理上。这提示我们可以根据具体应用需求来选择合适的模型规模：对于相对简单的协作任务，3B模型可能已经足够；而对于复杂的工业应用，7B模型的额外性能提升可能是值得的。

更重要的是，研究团队发现强化学习对小模型的性能提升更加显著。3B模型在经过VIKI-R训练后，性能相比基础版本提升了约20倍，而7B模型的提升倍数相对较小。这表明强化学习特别适合帮助较小的模型发挥出更大的潜力。

七、从仿真到现实：技术应用前景展望

虽然当前的研究主要在仿真环境中进行，但VIKI-R框架展现出的能力为现实世界的应用提供了广阔的前景。研究团队在论文中描述了多个具体的应用场景，展示了这项技术的实用价值。

在智能制造领域，VIKI-R可以协调不同类型的工业机器人完成复杂的装配任务。传统的工业机器人通常需要人工编程来定义每个动作，而VIKI-R使得机器人能够根据任务需求自主规划协作策略。例如，在汽车装配线上，系统可以自动选择合适的机器人组合来安装不同的部件，大型机器人负责搬运重型部件，精密机器人负责细小零件的安装，移动机器人负责物料运输。

在服务机器人领域，VIKI-R的应用前景同样广阔。在医院环境中，不同类型的服务机器人可以协作完成复杂的护理任务：导航机器人负责运送药物和设备，操作机器人协助医护人员进行简单的医疗操作，清洁机器人维护环境卫生。系统能够根据具体的护理需求和当前可用的机器人资源，自动制定最优的协作计划。

在家庭环境中，VIKI-R可以让家用机器人更好地协作完成日常任务。扫地机器人、拖地机器人和整理机器人可以协调工作，避免相互干扰，提高清洁效率。当有客人来访需要准备茶点时，不同的机器人可以分工合作：一个负责准备茶具，另一个负责取茶叶和点心，第三个负责整理客厅。

研究团队特别强调了VIKI-R在处理异构机器人团队方面的优势。在现实世界中，我们通常不可能为每个任务都配备完全相同的机器人，更常见的情况是需要让不同制造商、不同型号、不同能力的机器人协同工作。VIKI-R的层次化设计使得它能够灵活适应这种异构环境，为每种机器人找到最适合的任务角色。

八、技术突破的深层意义：从个体智能到群体智能

VIKI-R的成功不仅仅是一个技术突破，更代表了人工智能发展的一个重要里程碑：从关注个体智能向群体智能的转变。这种转变反映了对真实世界复杂性的更深层理解。

在过去的几十年里，人工智能研究主要专注于提升单个智能体的能力，就像培养一个全能的超级专家。然而，现实世界的复杂任务往往需要多种不同的专业技能，任何单一的智能体都难以面面俱到。VIKI-R的方法论承认了这种现实，转而专注于如何让多个专业化的智能体有效协作。

这种思路转变具有深远的哲学意义。它体现了一种更加谦逊和务实的人工智能发展观：与其追求创造一个无所不能的超级智能，不如专注于让多个专业化的智能体形成一个高效的协作团队。这种方法不仅更容易实现，也更符合自然界中群体智能的基本原理。

从技术角度来看，VIKI-R的成功证明了视觉感知在机器人协作中的关键作用。传统的多机器人协作系统往往依赖于预定义的环境模型和通信协议，而VIKI-R通过视觉观察来理解环境和推断任务需求，使得系统能够在更加灵活和动态的环境中工作。

这种基于视觉的协作方法也为解决机器人领域的一些长期难题提供了新思路。例如，如何让机器人在没有精确地图的环境中导航，如何让不同制造商的机器人实现互操作性，如何让机器人团队适应环境的动态变化等。VIKI-R通过视觉感知和智能推理提供了这些问题的潜在解决方案。

说到底，VIKI-R所代表的不仅仅是一种新的技术方法，更是一种新的思维模式。它告诉我们，真正的智能可能不在于单个个体的超越能力，而在于多个个体之间的有效协作。这种协作不是简单的任务分配，而是基于深度理解和智能推理的动态配合。

当我们站在这项研究的成果面前，不难预见一个充满可能性的未来：在工厂里，各种机器人像训练有素的工人一样默契配合；在医院里，不同功能的医疗机器人组成高效的护理团队；在家庭中，各种家用机器人像贴心的家庭成员一样分工合作。这不再是科幻小说中的幻想，而是正在变为现实的技术图景。

当然，从仿真环境到真实世界的部署还有很多挑战需要克服。真实环境的复杂性、不确定性和动态性都远超仿真环境，机器人硬件的可靠性和安全性也需要进一步提升。但VIKI-R为我们提供了一个坚实的理论基础和技术框架，为迎接这些挑战做好了准备。归根结底，这项研究向我们展示了一个重要事实：机器人的未来不是孤军奋战，而是团队协作。正如人类社会的进步离不开分工合作一样，机器人技术的下一个重大突破很可能来自于让不同的机器人学会像人类团队一样高效协作。上海人工智能实验室的这项研究为我们打开了通向这个未来的大门。

Q&A

Q1：VIKI-R是什么？它能解决什么问题？ A：VIKI-R是上海人工智能实验室开发的机器人团队协作训练框架，它能教会不同类型的机器人像人类团队一样协调工作。该系统解决了多机器人协作中的三个核心问题：如何选择合适的机器人组合、如何制定协作计划，以及如何在复杂环境中精确执行任务。

Q2：VIKI-Bench和VIKI-R有什么区别？ A：VIKI-Bench是评估平台，VIKI-R是训练方法。VIKI-Bench就像机器人协作能力的"考试系统"，包含超过23000个测试样本来评估机器人团队的表现；而VIKI-R是"训练教练"，通过两阶段学习法（监督学习+强化学习）来提升机器人的协作能力。

Q3：这项技术什么时候能在现实生活中应用？ A：目前技术主要在仿真环境中验证，但已展现出强大的实用潜力。预计在智能制造、医疗服务、家庭清洁等领域可能率先应用。不过从仿真到真实部署还需要解决硬件可靠性、环境复杂性等挑战，具体时间表需要进一步的工程化发展。