阿里巴巴推出ABot-M0：让机器人拥有"一个大脑，万千身躯"的通用智能

由阿里巴巴AMAP CV实验室主导的这项研究发表于2026年2月，论文编号为arXiv:2602.11236v1，感兴趣的读者可以通过该编号查询完整论文。这项研究解决了一个困扰机器人领域多年的难题：如何让不同的机器人都能使用同一套"大脑"来执行各种任务。

想象一下，你有一套万能的驾驶技能，无论开轿车、SUV还是卡车，你都能轻松驾驭。研究团队希望为机器人世界创造这样的"万能驾驶员"——一个能适应各种机器人身体的通用智能系统。这就像培养一个超级全才，无论换到什么样的身体里，都能立刻开始工作。

目前的机器人就像是专业技工，每个都只会干一件事。一个会煎蛋的机器人换个环境就不知所措，会叠衣服的机器人看到陌生的衣服就束手无策。这种局限性严重阻碍了机器人技术的发展，就像每个城市都需要重新培训司机一样低效。

研究团队面临的挑战可以比作教练培训运动员的困境。现有的训练数据就像各个体育项目的训练手册，有些详细有些粗糙，有些用英文写有些用法文写，格式和标准完全不统一。更麻烦的是，这些手册的质量参差不齐，有些甚至包含错误信息。如果直接用这些杂乱的资料训练运动员，结果可想而知。

为了解决这个问题，研究团队首先做了一件类似图书馆整理员的工作。他们收集了六个主要的公开机器人数据库，就像收集了来自世界各地的训练手册。这些数据库包含了超过600万个机器人操作轨迹，相当于9500多小时的机器人工作记录，涵盖了20多种不同类型的机器人。

但是，这些原始数据就像一堆用不同语言写成的食谱，格式混乱，标准不一。研究团队花费了大量时间进行"翻译"和"标准化"工作。他们把所有的操作指令都转换成统一的格式，就像把所有食谱都改写成同一种语言和度量单位。这个过程中，他们发现并剔除了约16%的低质量数据，确保最终的训练素材都是高质量的。

一、创新的"动作流形学习"理论

在解决数据问题之后，研究团队提出了一个非常有趣的理论，叫做"动作流形假说"。用一个比喻来解释：传统的机器人学习就像让学生在考试时先写一堆废话，然后再从废话中提取正确答案。而新方法直接教学生写出正确答案。

具体来说，以前的机器人训练方法会让机器人学习如何"去噪"——比如给机器人一个充满干扰的信号，让它学会过滤掉噪音找到真正的指令。这就像给一个厨师一份被墨水污染的菜谱，让他猜测原本的内容。这种方法不仅效率低下，还容易产生不稳定的结果。

新的"动作流形学习"方法则完全不同。研究团队认为，有效的机器人动作不会随机分布在整个可能的动作空间中，而是集中在一个相对较小的"合理动作区域"内。这个区域就像一条蜿蜒的山路，虽然山路可能很长很复杂，但它始终是一条明确的路径，不会突然跳跃到悬崖上或河流中。

基于这个理论，他们设计了一个新的训练方法。与其让机器人学习如何处理噪音，不如直接教它学习正确的动作序列。这就像直接教厨师正宗的烹饪技法，而不是先给他一堆错误的方法让他自己纠错。

这种方法带来了显著的改进。机器人的动作变得更加流畅和稳定，执行任务的成功率大幅提升。特别是在需要精细操作的任务中，比如插入、折叠或双手协作等，这种改进尤其明显。

二、双流特征融合架构

除了动作学习方法的改进，研究团队还设计了一个巧妙的感知系统。这个系统就像人类的大脑一样，同时处理语言理解和空间感知两种不同类型的信息。

传统的机器人系统往往只依赖视觉语言模型（VLM）来理解环境和任务。这些模型很擅长理解"把红色的杯子放到桌子上"这样的指令，也能识别物体和场景，但它们在精确的空间推理方面存在天然缺陷。就像一个只看过地图但从未实地走过的导航员，虽然知道目的地在哪里，但对实际的距离、地形和路况缺乏准确判断。

为了解决这个问题，研究团队设计了一个双流架构。一个流处理语言和语义信息，另一个流专门处理3D空间信息。这就像给机器人配备了两种不同的"专家顾问"：一个是熟悉各种物品和任务的语言专家，另一个是精通空间关系和几何结构的空间专家。

空间专家使用了一些先进的3D感知技术。比如VGGT技术，它能从单张图片推断出物体的3D结构和空间关系，就像一个经验丰富的建筑师能从平面图想象出建筑的立体结构。另外还有Qwen-Image-Edit技术，它能生成多个不同视角的图像，帮助机器人更全面地理解环境，就像从多个角度观察一件艺术品才能真正欣赏它的美。

这两个专家系统通过交叉注意力机制进行协作。当机器人需要执行一个任务时，语言专家会理解任务的含义和要求，空间专家会分析环境的几何结构，然后两者协同工作，制定出既符合任务要求又在物理上可行的动作计划。

三、统一的单臂双臂训练策略

机器人世界中存在着各种不同的"身体类型"：有些机器人只有一条手臂，有些有两条手臂，它们的关节数量、工作空间和控制方式都可能不同。这就像服装设计师需要为各种不同体型的人设计衣服一样复杂。

研究团队想出了一个巧妙的解决方案：统一训练策略。他们把所有的机器人都当作"双臂机器人"来训练，但对于只有一条手臂的机器人，另一条"虚拟手臂"的动作就设置为零。这就像设计一套万能的舞蹈动作，有些人用双手跳舞，有些人只用右手，但整套动作编排保持一致。

这种设计的巧妙之处在于，同一个模型可以自动适应不同的机器人配置。当遇到需要双手协作的任务时，模型会激活两条手臂的控制；当任务只需要单手完成时，模型会自然地只使用一条手臂。这种自适应能力让机器人变得更加智能和灵活。

更重要的是，所有的动作都被标准化为"端点增量动作"，也就是说，不管机器人的关节结构如何不同，最终都转换为机器人手部末端的位置和姿态变化。这就像不管厨师使用什么样的刀具，最终都要看切出来的菜是否符合要求一样。这种标准化大大简化了不同机器人之间的知识转移。

四、多层次的训练采样策略

在处理多样化的训练数据时，研究团队发现了一个类似"营养搭配"的问题。原始数据中，某些类型的机器人和任务占据了绝大部分比例，而一些重要但稀少的技能可能只占很小的份额。如果按照原始比例训练，就像一个人天天吃同样的食物，虽然能填饱肚子，但会营养不良。

为了解决这个问题，他们设计了多层次的均匀采样策略。这就像营养师为运动员配制训练餐谱，确保蛋白质、碳水化合物、维生素等各种营养素都能均衡摄入。在机器人训练中，他们确保每种类型的任务和每种机器人配置都能得到充分的训练机会。

具体来说，他们不是简单地按数据量多少来分配训练时间，而是按照任务类型和机器人类型来均匀分配。这样，即使某些高价值的双臂协作任务在原始数据中只占很小比例，也能在训练过程中得到充分的重视。

实验结果证明了这种策略的有效性。采用任务均匀采样的模型在各种基准测试中都表现出了更好的泛化能力，特别是在处理稀有但重要的任务时表现尤为突出。

五、两阶段训练范式

整个训练过程被设计为两个阶段，就像培养一个全才的过程：先接受通识教育，再进行专业化训练。

第一阶段是大规模预训练，类似于让学生接受全面的基础教育。在这个阶段，机器人学习各种基本的操作技能和常识，包括如何抓取物体、如何移动、如何理解人类的指令等。这个阶段使用了所有可用的训练数据，让模型获得广泛的知识基础。

第二阶段是监督微调，类似于专业化培训。在这个阶段，研究团队会针对特定的复杂任务对模型进行精细调整，特别是那些需要高精度操作的任务，比如精密装配、布料折叠或双手协作等。这个阶段的训练更加注重细节和精确性。

两阶段训练的好处在于既保证了模型的通用性，又提升了在特定任务上的表现。就像一个受过良好通识教育的人更容易在专业领域取得成功一样，有了扎实基础的机器人在学习新技能时也会更加高效。

六、卓越的实验表现

为了验证ABot-M0的效果，研究团队在多个标准测试平台上进行了全面评估，结果令人印象深刻。

在LIBERO测试中，这是一个包含各种日常操作任务的标准测试集，ABot-M0达到了98.6%的平均成功率。这意味着几乎每100次操作中，机器人都能成功完成98次以上。这个成绩显著超过了之前的最佳记录，甚至超越了一些被认为是该领域标杆的系统。

更令人惊叹的是在LIBERO-Plus测试中的表现。这个测试专门设计了各种"刁钻"的情况，比如改变摄像头角度、调整光照条件、使用不同的机器人等，来考验系统的鲁棒性。在这个更具挑战性的测试中，ABot-M0仍然达到了80.5%的成功率，比之前的最好成绩高出了12-65个百分点。

在RoboCasa GR1桌面任务测试中，系统需要处理24种不同的复杂操作任务，涉及各种几何形状的物体和复杂的交互操作。这个测试特别考验机器人的精细操作能力和对复杂场景的理解能力。ABot-M0在这个测试中达到了58.3%的成功率，创下了新的记录。

特别值得一提的是在RoboTwin 2.0测试中的表现。这个测试包含了50多个不同的任务，既有在干净环境下的标准操作，也有在复杂随机环境下的挑战性任务。在这个综合性测试中，ABot-M0在干净环境下达到了80.4%的成功率，在随机化环境下达到了81.2%的成功率，显示出了优秀的环境适应能力。

七、深入的消融实验验证

为了理解系统各个组件的贡献，研究团队进行了详尽的消融实验，就像汽车工程师拆解引擎的每个部件来理解其作用一样。

首先是动作流形学习的验证。他们比较了传统的噪声预测方法和新的直接动作预测方法。结果显示，在标准配置下，新方法比传统方法提高了1.7个百分点。更重要的是，当任务变得更加复杂（比如需要预测更长的动作序列）时，新方法的优势变得更加明显。在一个特别具有挑战性的测试中，传统方法的性能下降了23.6个百分点，而新方法只下降了8.2个百分点，展现出了更强的稳定性。

在视觉语言模型特征选择的实验中，他们发现使用模型最后一层的特征效果最好，达到了71%的成功率。这表明经过大规模预训练的模型确实在其深层网络中编码了丰富的动作相关信息。

3D信息注入的实验也很有启发性。单独使用VGGT进行3D特征提取可以将基准性能从95.4%提升到97.6%。使用多视角图像生成技术可以进一步提升到98.2%。特别是在摄像头视角变化的测试中，多视角方法带来了14个百分点的显著提升，证明了3D空间信息对机器人操作的重要性。

八、对不同采样策略的深度分析

研究团队还深入分析了不同数据采样策略对训练效果的影响，这项分析就像研究不同的学习方法对学生成绩的影响一样重要。

他们比较了三种主要的采样策略：轨迹均匀采样、任务均匀采样和机器人均匀采样。轨迹均匀采样就像按照数据量的多少来分配学习时间，数据多的内容学得多，数据少的内容学得少。这种方法虽然简单，但会导致训练数据被几种常见的机器人类型主导，其他重要但稀少的机器人类型得不到充分训练。

任务均匀采样则更加注重任务的多样性，确保每种类型的任务都能得到充分的训练机会。实验结果显示，这种策略在各种测试中都表现出了最佳的平衡性，特别是在跨机器人泛化和跨数据集迁移方面表现出色。

机器人均匀采样虽然在机器人类型平衡方面做得很好，但在技能覆盖方面存在不足，导致某些重要技能的训练不够充分。

通过详细的技能覆盖分析，他们发现任务均匀采样策略能够在相同的训练预算下覆盖更多独特的技能，学习曲线也更加陡峭，这意味着学习效率更高。

九、系统架构的模块化设计优势

ABot-M0的一个重要特点是其高度模块化的设计。整个系统就像一套可以灵活组装的积木，各个组件可以根据需要进行组合或替换。

视觉语言模型作为基础模块，负责理解任务指令和识别环境中的物体。3D感知模块作为可选插件，可以在需要精确空间推理的任务中启用。动作专家模块专门负责生成具体的机器人动作指令。

这种模块化设计带来了很多好处。研究者可以根据具体的应用场景选择合适的组件组合，既可以追求最高性能，也可以考虑计算资源的限制。比如，对于不需要高精度操作的简单任务，可以只使用基础的视觉语言模型；对于需要精确操作的复杂任务，可以加入3D感知模块。

实验结果显示，各个模块的贡献是累加的，也就是说每个模块都能独立地提升系统性能，同时它们之间也有很好的协同效果。这种设计让系统既具有很好的可扩展性，也保持了组件间的独立性。

十、对机器人领域的深远影响

ABot-M0的成功不仅仅是技术指标上的提升，更重要的是它为机器人领域的发展指出了一个新方向。传统的机器人开发往往是封闭式的，每个公司或研究机构都在自己的数据和平台上独立工作，就像一个个孤岛。

这项研究证明了开源协作的巨大潜力。通过整合多个公开数据源，研究团队构建了迄今为止最大的非私有机器人数据集。更重要的是，他们承诺将所有的代码和数据处理流程开源，让整个社区都能受益。

这种开放的方法有望加速整个行业的发展。就像Linux操作系统通过开源协作变得越来越强大一样，机器人智能也可能通过类似的方式实现突破。当越来越多的研究者贡献数据、算法和改进时，整个生态系统会形成正向循环，推动技术快速进步。

从应用前景来看，ABot-M0展示的通用性为机器人的大规模应用铺平了道路。在制造业，同一套智能系统可以控制装配线上的各种机器人；在服务业，酒店的清洁机器人和餐厅的送餐机器人可以共享相同的智能核心；在家庭应用中，未来的家用机器人可能真正做到"一专多能"。

研究团队也指出了未来的发展方向。他们计划进一步扩大数据规模，特别是加入更多人类演示数据和通过UMI系统收集的高质量轨迹数据。同时，他们也在考虑如何将更多类型的传感器信息（如触觉、力觉等）整合到系统中，以及如何将这套框架扩展到腿式机器人、无人机甚至全身人形机器人等更复杂的系统中。

说到底，ABot-M0代表的不仅仅是一个更好的机器人控制系统，更是一种新的思维方式：通过开放协作、数据共享和标准化，我们可以更快地推动机器人技术的发展，最终实现让智能机器人真正走进千家万户的梦想。这项研究让我们看到，"一个大脑，万千身躯"的科幻场景可能比我们想象的更快成为现实。对于普通人来说，这意味着未来我们可能会看到更加智能、更加实用、也更加经济实惠的机器人产品出现在我们的生活中。

Q&A

Q1：ABot-M0与传统机器人系统最大的区别是什么？

A：最大的区别在于ABot-M0实现了真正的"通用性"。传统机器人就像专业技工，每个都只会干一件事，换个环境就不知所措。而ABot-M0就像一个超级全才，无论换到什么样的机器人身体里都能立刻开始工作，一套智能系统可以控制从单臂到双臂的各种不同机器人。

Q2：动作流形学习相比传统方法有什么优势？

A：动作流形学习直接教机器人学习正确的动作，而不是让它从噪音中猜测动作。这就像直接教厨师正宗烹饪技法，而不是先给他错误方法让他自己纠错。新方法让机器人动作更流畅稳定，在复杂任务中成功率显著提高，特别是在需要预测长动作序列时优势更明显。

Q3：普通人什么时候能用上ABot-M0技术的机器人？

A：虽然ABot-M0还处于研究阶段，但它为机器人大规模应用铺平了道路。研究团队承诺开源所有代码和数据处理流程，这将加速整个行业发展。预计在制造业和服务业会率先看到应用，家用机器人可能需要更长时间，但这项技术让"一专多能"的智能机器人走进千家万户的愿景更快成为可能。