机器人有了"新老师"：清华团队让机器人通过试错学会更聪明的操作

这项由清华大学、上海人工智能实验室、上海交通大学、北京大学和香港大学研究团队共同完成的突破性研究发表于2025年1月，论文题为"SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning"。有兴趣深入了解的读者可以通过arXiv平台访问完整论文（论文编号：arXiv:2509.09674v1）。

你有没有想过，机器人是如何学会精准地抓取、移动和操作物体的？传统上，机器人就像一个只会按照食谱做菜的厨师，严格按照人类演示的步骤执行任务。但这种方式有个大问题：当遇到食谱上没有的情况时，机器人就束手无策了。

回到现实中的机器人训练，目前主流的方法叫做"监督学习"，就像老师手把手教学生写字一样。人类操作员需要亲自演示成千上万次正确的操作，机器人通过观察这些演示来学习。但这种方法面临两个严峻挑战：首先，获取大量高质量的演示数据既昂贵又耗时，就像请世界顶级厨师来教你做每一道菜一样；其次，当机器人遇到演示中没有涵盖的新情况时，它往往表现糟糕，缺乏举一反三的能力。

正当研究人员为这些问题苦恼时，大语言模型领域传来了振奋人心的消息。像DeepSeek-R1这样的模型通过强化学习获得了惊人的推理能力，它们能够通过试错学习，自主发现解决问题的新方法。这就像一个学生不再死记硬背标准答案，而是学会了独立思考和推理。这个成功案例让研究团队产生了一个大胆的想法：能否将这种强化学习的威力引入到机器人领域？

于是，这个由清华大学李浩展、左宇新、余家乐等研究人员组成的团队开始了他们的探索之旅。他们要解决的核心问题是：如何让机器人通过自主试错，而不是仅仅模仿人类演示，来掌握复杂的操作技能？

一、从模仿到探索：机器人学习的新范式

传统的机器人学习就像严格按照菜谱做菜的过程。研究人员首先收集大量的"标准菜谱"——也就是人类演示的操作数据，然后让机器人反复练习这些固定的动作序列。这种方法虽然能让机器人在特定场景下表现良好，但一旦环境发生变化，或者遇到训练数据中没有的情况，机器人就会变得笨拙无比。

强化学习的出现改变了这一切。如果说监督学习是"照本宣科"，那么强化学习就是"摸着石头过河"。机器人不再只是被动地模仿人类动作，而是主动尝试各种可能的操作，通过环境的反馈来判断哪些行为是好的，哪些是坏的。就像一个孩子学走路，摔倒了爬起来，慢慢找到平衡的诀窍。

这种学习方式的魅力在于，机器人可能会发现人类从未想到的巧妙解决方案。研究团队在实验中观察到了一个有趣的现象，他们称之为"推切"（pushcut）。原本机器人被训练通过"抓取-移动-放置"的传统方式来移动罐子，但在强化学习过程中，机器人自主发现了一个更高效的方法：直接推动罐子到目标位置，而不是费力地抓取和移动。这就像你发现可以用扫把推球进门，而不必弯腰捡起球再投掷一样。

不过，将强化学习应用到机器人领域并非易事。与处理文本的大语言模型不同，机器人需要在真实的三维世界中进行操作，每一次动作都会影响环境状态，而且需要考虑物理定律的约束。这就像在动态变化的复杂环境中进行多轮博弈，难度要大得多。

研究团队需要解决的第一个关键问题是如何让机器人高效地生成多样化的操作轨迹。在文本生成中，模型可以通过调整温度参数来产生不同的输出，但机器人的动作空间要复杂得多。每个动作都是一个多维的控制指令，包括机械臂的位置、姿态、抓取器的开合状态等。研究团队设计了专门的轨迹采样机制，让机器人能够探索更广泛的动作空间。

第二个挑战是如何设计合适的奖励机制。在监督学习中，每个动作都有对应的"标准答案"，但在强化学习中，机器人需要通过尝试来发现哪些行为能带来好的结果。研究团队采用了一种简洁而有效的方法：只关注任务的最终结果。如果机器人成功完成了任务（比如把物体放到了指定位置），整个操作序列就获得正向奖励；如果失败了，就获得负向奖励。这种方法避免了复杂的中间步骤评估，让机器人有更大的自由度去探索不同的解决方案。

二、SimpleVLA-RL：让机器人成为自主学习者

研究团队开发的SimpleVLA-RL框架就像为机器人量身定制的"自学成才"系统。这个系统的核心理念是让机器人通过大量的试错练习来提升技能，而不是仅仅依赖人类的演示。

整个框架的运作过程可以比作一个学生的自主学习过程。首先，机器人需要有基础的"入门知识"——通过少量的人类演示获得对任务的初步理解，就像学生在开始自学前需要掌握基本概念一样。然后，机器人开始进入"大量练习"阶段，在模拟环境中反复尝试各种操作方法。

在这个练习过程中，系统使用了一种叫做GRPO（群体相对策略优化）的算法。这个算法的工作原理很巧妙：它让机器人同时尝试多种不同的操作方法，然后比较这些方法的效果。表现好的方法会被鼓励和强化，表现差的方法会被逐渐淘汰。这就像一个班级里的学生互相比较学习成绩，好的学习方法会被推广，差的方法会被改进。

为了让机器人更好地探索新的解决方案，研究团队还引入了几个重要的"学习技巧"。第一个技巧叫做"动态采样"，确保机器人在每次练习中都能遇到既有成功也有失败案例的情况，这样才能有效地学习。就像学生做练习题时，既要有会做的题目增强信心，也要有有挑战的题目促进提高。

第二个技巧是调整"探索温度"，让机器人在训练时更愿意尝试一些平时不太会选择的动作。这就像鼓励一个保守的学生偶尔尝试一些创新的解题思路，虽然风险大一些，但可能会发现意想不到的好方法。

第三个技巧是优化"信任区间"，即在保证学习稳定性的同时，给机器人更大的改进空间。传统方法担心机器人变化太快会不稳定，所以限制得很严格，但研究团队发现适当放宽这些限制实际上有助于探索。

整个系统还具备强大的并行处理能力。研究团队设计了多环境并行渲染系统，就像同时开设多个练习场地，让机器人能够在多个虚拟环境中同时进行练习。这大大提高了学习效率，原本需要几天才能完成的训练现在几个小时就能搞定。

三、惊人的学习成果：数据稀缺下的高效表现

当研究团队将SimpleVLA-RL系统应用到实际测试中时，结果令人瞩目。他们在多个标准机器人操作基准测试中验证了这个方法的有效性，包括LIBERO和RoboTwin等知名测试平台。

最令人印象深刻的是系统在数据稀缺情况下的表现。在传统的监督学习中，如果每个任务只有一个演示样本，机器人的成功率往往非常低。以LIBERO-Long基准测试为例，使用传统方法时，机器人的成功率只有可怜的17.3%。但经过SimpleVLA-RL训练后，成功率跃升到了91.7%，提升幅度高达430%。这就像一个只看过一次演示的学生，通过自主练习就能掌握复杂技能，这在传统教学中几乎是不可能的。

即使在数据相对充足的情况下，强化学习仍然带来了显著的性能提升。在各项测试中，经过强化学习训练的机器人平均性能提升了8-30个百分点。更重要的是，这种提升在不同难度级别的任务中都得到了体现，从简单的物体抓取到复杂的双臂协作操作。

研究团队还发现了一个特别有趣的现象：机器人的泛化能力得到了显著增强。泛化能力指的是机器人在面对训练期间从未见过的新情况时的应对能力。传统的监督学习往往存在"死记硬背"的问题，机器人在面对新环境、新物体或新任务时表现会急剧下降。但经过强化学习训练的机器人展现出了更强的适应性。

在空间泛化测试中，当物体位置发生变化时，传统方法训练的机器人成功率会显著下降，而强化学习训练的机器人仍能保持较高的成功率。在物体泛化测试中，面对训练时从未见过的新物体，强化学习机器人的表现也明显优于传统方法。最重要的是，在任务泛化测试中，机器人能够将学到的技能迁移到相关但不同的新任务中。

这种泛化能力的提升可以用"举一反三"来形容。就像一个学会了骑自行车的人能够更容易学会骑摩托车一样，掌握了强化学习技能的机器人能够更好地应对各种变化。研究团队认为，这是因为强化学习让机器人学习到了更本质的操作原理，而不是简单的动作模仿。

四、"推切"现象：机器人的创造性思维

在所有研究发现中，最让人兴奋的可能是"推切"（pushcut）现象的出现。这个现象完美展示了强化学习如何激发机器人的"创造性思维"。

传统训练中，当面对"将罐子移动到锅旁边"这样的任务时，所有的人类演示都遵循同一套标准流程：机械臂伸向罐子，抓取罐子，将其提起，移动到目标位置，然后放下。这是一个典型的"抓取-移动-放置"序列，就像我们日常生活中移动物品的标准方法。

但在强化学习训练过程中，机器人自主发现了一个更加高效的替代方案。与其费力地抓取罐子，机器人学会了直接推动罐子滑行到目标位置。这种方法不仅更快速，而且更稳定，因为避免了抓取过程中可能出现的失误。

这个发现的意义远不止于技术层面的改进。它表明机器人已经具备了某种程度的"独立思考"能力，能够跳出人类预设的解决方案框架，找到自己的方法。研究团队将这种现象与人工智能领域著名的"顿悟时刻"相提并论，就像AlphaGo在围棋比赛中下出人类从未想过的"神之一手"。

类似的创新行为在其他任务中也有出现。在"将物体A放到物体B右边"的任务中，机器人原本被教导要抓取物体A并精确放置，但它自主学会了通过推动来完成任务，大大简化了操作过程。这些例子都说明，当给机器人足够的探索自由时，它们能够发现比人类演示更优雅的解决方案。

研究团队分析认为，"推切"现象的出现是强化学习与监督学习本质区别的体现。监督学习只能让机器人模仿已有的行为模式，而强化学习则鼓励探索和创新。由于系统只关注最终结果（任务是否成功完成），而不拘泥于具体的执行过程，机器人获得了充分的创造空间。

这种创造性的出现对未来机器人发展具有深远意义。它预示着机器人可能不再只是人类的简单模仿者，而是能够独立思考和创新的智能体。当然，这也带来了新的思考：我们是否准备好接受机器人可能比我们想象的更加"聪明"？

五、从仿真到现实：真实世界的成功验证

任何机器人技术的最终考验都是在真实世界环境中的表现。研究团队深知这一点，因此他们专门设计了从仿真环境到真实机器人的迁移实验，结果证明了SimpleVLA-RL的实用价值。

实验中使用的是AgileX Piper机械臂，这是一款在工业和研究领域广泛应用的机器人设备。研究团队选择了四个具有代表性的任务进行测试：堆叠碗具、递交物块、抓取瓶子和按响铃铛。这些任务涵盖了机器人操作的核心技能，包括精确抓取、稳定移动和准确放置。

令人欣慰的是，完全在仿真环境中训练的机器人在真实世界中展现了出色的性能。在堆叠碗具任务中，经过强化学习训练的机器人成功率达到70%，相比于传统监督学习方法的32%有了显著提升，甚至超过了专门设计的基线方法RDT的60%。

更具挑战性的是抓取瓶子任务，这个任务要求机器人具备极高的动作精度，因为稍有偏差瓶子就会倒下或滑落。传统监督学习方法在这个任务上完全失败，成功率为0%，而强化学习训练的机器人达到了14%的成功率。虽然这个数字看似不高，但考虑到任务的难度以及完全没有使用真实世界数据进行训练，这个结果已经相当令人鼓舞。

在递交物块和按响铃铛任务中，强化学习机器人也都显示出了明显的优势。平均而言，经过SimpleVLA-RL训练的机器人在所有真实世界任务中的成功率比传统方法提高了21个百分点，这是一个相当可观的改进。

这些真实世界实验的成功证明了一个重要观点：通过大规模仿真训练获得的技能确实可以有效地迁移到现实环境中。这为机器人训练开辟了一条全新的道路。传统上，机器人需要在真实环境中进行大量练习，这不仅成本高昂，而且存在安全风险。现在，研究团队证明了可以先在虚拟环境中进行充分训练，然后将学到的技能应用到真实世界。

这种方法的优势是显而易见的。首先，仿真环境可以提供无限的练习机会，机器人可以7天24小时不间断地进行训练，而且不用担心设备磨损或安全问题。其次，仿真环境可以轻松生成各种边缘情况和极端场景，帮助机器人建立更robust的技能。最重要的是，这种方法具有良好的可扩展性，一旦在仿真中验证有效，就可以快速部署到大量真实机器人上。

六、技术突破的深度剖析

SimpleVLA-RL的成功并非偶然，而是多项技术创新共同作用的结果。研究团队在原有的veRL框架基础上，针对机器人领域的特殊需求进行了大量优化和改进。

首先是轨迹生成机制的革新。与处理文本序列的语言模型不同，机器人需要在每个时间步都与环境进行交互，获取新的感知信息，然后决定下一步动作。这种闭环交互使得轨迹生成变得极其复杂。研究团队设计了专门的多环境并行采样系统，能够同时在多个虚拟环境中运行机器人，大大提高了数据收集效率。

奖励设计是另一个关键创新点。传统的强化学习往往依赖复杂的奖励函数，需要人工设计各种中间奖励来引导学习过程。但这种方法既繁琐又容易出现奖励偏差问题。SimpleVLA-RL采用了极其简洁的二元奖励：成功完成任务获得1分，失败获得0分。这种设计的妙处在于它避免了人为偏见的引入，给机器人最大的探索自由。

为了应对稀疏奖励带来的学习困难，研究团队引入了三个关键的探索增强策略。动态采样确保每次训练都包含成功和失败的案例，避免了梯度消失问题。温度调节让机器人在训练时更愿意尝试低概率的动作，增加了探索的多样性。剪裁范围的调整则在保持训练稳定的同时给予了更大的策略改进空间。

算法层面，研究团队对GRPO算法进行了重要改进。他们移除了传统PPO算法中的KL散度正则化项，这样做的好处是减少了计算开销，同时避免了参考策略对探索的限制。群体相对优势计算确保了即使在奖励稀疏的情况下，算法也能提供有效的学习信号。

系统架构方面，SimpleVLA-RL实现了训练、推理和环境渲染的一体化整合。这种设计不仅提高了系统效率，还简化了部署流程。研究团队特别优化了GPU内存使用和计算资源分配，使得整个系统能够在8块NVIDIA A800显卡上高效运行。

七、实验验证的全方位展示

研究团队进行了极其全面的实验验证，涵盖了从基础功能测试到复杂应用场景的各个层面。实验设计的严谨性和结果的一致性为SimpleVLA-RL的有效性提供了坚实的证据。

在LIBERO基准测试中，研究团队选择了四个不同的子测试套件，每个都针对不同的挑战。LIBERO-Spatial测试空间推理能力，要求机器人理解"左边"、"右边"、"上面"等空间关系。LIBERO-Object测试物体泛化能力，机器人需要处理训练时从未见过的新物体。LIBERO-Goal测试任务理解能力，涉及更复杂的目标描述。LIBERO-Long测试长期规划能力，要求机器人完成包含多个子步骤的复杂任务。

在所有这些测试中，SimpleVLA-RL都取得了显著的性能提升。最引人注目的是在LIBERO-Long测试中的表现，成功率从86.5%提升到98.5%，几乎达到了完美水平。这个结果特别重要，因为长期规划一直是机器人领域的难题，需要机器人不仅能执行单个动作，还要能制定和执行包含多个步骤的复杂策略。

RoboTwin测试平台提供了更加现实的双臂操作场景。这里的任务通常需要两只机械臂协调配合，就像人类使用双手完成复杂任务一样。在RoboTwin1.0的测试中，SimpleVLA-RL将平均成功率从39.8%提升到70.4%，提升幅度超过30个百分点。在更新的RoboTwin2.0测试中，性能提升更加显著，从38.3%跃升至68.8%，几乎翻了一倍。

特别值得关注的是不同任务复杂度下的表现分析。研究团队将RoboTwin2.0中的12个任务按照所需步骤数量分为四个难度级别：短期任务（112-130步）、中期任务（151-223步）、长期任务（283-313步）和超长期任务（466-637步）。结果显示，SimpleVLA-RL在所有难度级别上都实现了一致的改进，证明了方法的普适性。

数据效率分析揭示了强化学习的另一个重要优势。在极端数据稀缺的情况下（每个任务只有一个演示样本），传统监督学习方法几乎完全失效，而SimpleVLA-RL仍能达到接近完整数据训练的效果。这个发现对于实际应用具有重大意义，因为在很多现实场景中，获取大量高质量演示数据是极其困难的。

泛化能力测试进一步证实了强化学习的优势。研究团队设计了巧妙的实验，将每个任务类别中的10个任务分为9个训练任务和1个测试任务，然后观察机器人在未见过的任务上的表现。结果显示，传统监督学习往往出现严重的过拟合现象，在新任务上的表现急剧下降，而强化学习训练的机器人显示出了更好的泛化能力。

八、未来影响与思考

SimpleVLA-RL的成功不仅仅是一个技术突破，更代表了机器人学习范式的根本性转变。这种转变的深远影响可能会重塑整个机器人行业的发展轨迹。

从技术发展角度来看，这项研究证明了强化学习在机器人领域的巨大潜力。过去，研究者们普遍认为强化学习在机器人应用中存在样本效率低、训练不稳定等问题，但SimpleVLA-RL的成功表明这些问题并非不可克服。通过适当的算法设计和系统优化，强化学习可以成为机器人训练的主流方法。

这种转变最直接的好处是大大降低了机器人训练的成本和门槛。传统方法需要大量的人工演示数据，这不仅耗时耗力，而且需要专业的操作员。而强化学习方法可以让机器人自主学习，只需要提供任务目标和基本的环境设置。这就像从"一对一私教"转向"自学成才"，效率提升是显而易见的。

更重要的是，强化学习带来的创造性和适应性为机器人应用开辟了新的可能性。"推切"现象的出现暗示着机器人可能会发现人类从未想到的解决方案，这种创新能力在复杂的现实环境中尤其宝贵。当机器人面对前所未见的情况时，它们不再只能依赖预设的程序，而是能够即时适应和创新。

从应用前景来看，这项技术的影响可能会首先在工业自动化领域显现。制造业中的很多任务具有重复性强、目标明确的特点，非常适合强化学习方法。机器人可以通过自主练习快速掌握新的装配工艺，适应产品设计的变化，甚至优化生产流程。

服务机器人领域也将受益匪浅。家庭服务机器人需要应对千变万化的家庭环境，传统的预编程方法显然无法覆盖所有可能的情况。强化学习让机器人具备了学习和适应的能力，可以根据每个家庭的具体情况调整行为模式。

当然，这种技术进步也带来了新的挑战和思考。机器人具备了一定程度的"创造性"后，如何确保这种创造性朝着我们期望的方向发展？如何在给予机器人探索自由的同时保证安全性？这些问题需要在技术发展的同时得到充分考虑。

研究团队也坦诚地指出了当前方法的一些限制。强化学习的效果很大程度上依赖于初始模型的质量，如果基础能力太弱，强化学习也难以发挥作用。此外，虽然方法在仿真环境中表现优异，但现实世界的复杂性仍然是一个巨大的挑战。

说到底，SimpleVLA-RL为我们展示了机器人学习的一个新方向。它让我们看到，机器人不仅可以成为人类的得力助手，更可能成为具有一定自主性和创造性的智能伙伴。这种转变的意义远不止于技术层面，它可能会改变我们对人工智能、对机器人、甚至对智能本质的理解。当机器人开始表现出"推切"这样的创新行为时，我们不禁要问：这还只是程序的执行，还是已经触及了某种更深层次的智能？

这项研究为这些深刻问题的探索提供了新的起点。随着技术的不断完善和应用的日益广泛，我们有理由期待看到更多令人惊喜的发现和突破。

Q&A

Q1：SimpleVLA-RL是什么？它与传统的机器人训练方法有什么区别？

A：SimpleVLA-RL是清华大学等机构开发的一种新型机器人训练框架，它让机器人通过强化学习自主试错来掌握技能，而不是仅仅模仿人类演示。就像从"照本宣科"变成"摸着石头过河"，机器人可以探索和发现人类从未想到的操作方法，比如发现推动物体比抓取更高效的"推切"现象。

Q2：SimpleVLA-RL在数据稀缺情况下表现如何？

A：表现极其出色。在LIBERO-Long测试中，当每个任务只有一个演示样本时，传统方法成功率只有17.3%，而SimpleVLA-RL能达到91.7%，提升幅度高达430%。这意味着机器人只需要看一次人类演示，就能通过自主练习掌握复杂技能，大大降低了训练成本。

Q3：SimpleVLA-RL训练的机器人能在真实世界中工作吗？

A：能够成功迁移到真实世界。研究团队用AgileX Piper机械臂进行的实验显示，完全在仿真环境中训练的机器人在真实世界任务中平均成功率比传统方法提高了21个百分点。在堆叠碗具任务中达到70%成功率，在要求极高精度的抓取瓶子任务中也实现了14%的成功率。