四川大学团队揭秘：机器人"学聪明了"——如何让AI机械臂减少一半无效动作，速度提升近6倍？

这项由四川大学、阿德莱德大学与北京理工大学联合开展的研究，于2026年6月21日以预印本形式发布在arXiv平台，编号为arXiv:2606.22540，论文标题为《PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models》。感兴趣的读者可通过该编号查阅完整论文。

一、机器人为什么老是"磨磨蹭蹭"？

家里养过一条训练不当的狗的人大概都有这种体验：你指着地板上的球说"去捡球"，狗摇摇摆摆走过去，绕了一圈，退了一步，抖了抖毛，又多走了几步，才终于叼起球来。整个过程成功了，但你忍不住想：它为什么非要多走那么多冤枉路？

当代的机器人手臂，其实也有类似的毛病。

近年来，一类被称为"视觉-语言-动作模型"（VLA模型，Vision-Language-Action Model）的人工智能系统正在机器人领域大放异彩。这类模型能够同时理解视觉图像、听懂语言指令，并控制机械臂做出相应动作，是目前最接近"通用机器人大脑"的技术方向之一。你对着机器人说"把桌上的黑碗放到盘子里"，它就能识别、判断、然后动手完成，听起来很厉害。

然而现实部署中，这类机器人却存在一个让工程师们头疼的问题：它们完成任务的过程极其低效。研究团队发现，同一台机器人在完成完全相同的任务时，每次所需的步骤数量差异巨大——有时候它能利落地用50步完成，有时候却要磨磨蹭蹭走120步才能搞定，而成功率差不多。这说明"更少步骤完成任务"这条路本来就是存在的，只是机器人自己不知道怎么稳定走上去。

研究团队将这个问题命名为"内在策略效率"问题，并把它明确区分于另一类大家更熟悉的"计算效率"问题。简单说：计算效率是让机器人每次"想一下"的时间更短，而内在策略效率是让机器人总共需要"想的次数"更少。前者是让每一步走得更快，后者是让总路程变短。研究的核心目标，就是后者。

二、两个拖慢机器人的"坏习惯"

为了弄清楚为什么机器人会走那么多冤枉路，研究团队深入分析了VLA模型的工作方式，发现了两个根本性的问题。

理解这两个问题，需要先了解VLA模型的一个重要机制，叫做"动作块"（Action Chunk）。机器人不是每走一步就重新拍照、重新思考，那样太慢了。它的工作方式更像一个厨师照着食谱做菜：每次看一眼食谱，就能记住接下来一小段步骤，然后闭着眼睛连续执行，等到这段动作做完了，再回头看一眼食谱。这"一段步骤"就是动作块，每次看食谱就是一次推理调用。动作块越长，机器人需要看食谱的次数就越少，效率也越高。

问题就出在这里。研究团队通过实验发现，机器人在执行动作块时，越往后面的动作质量越差——就像一个厨师抄食谱，前几步还写得清晰，越到后面字越草越模糊，等到他真的去按照最后几步操作时，就会出错。这种"尾端预测退化"现象会导致机器人在执行动作块的后半段时动作失准，手臂位置偏了，抓取失败了，然后它不得不花费大量额外步骤来纠正。实验数据非常直观：当强制机器人执行更长的动作块时，任务成功率明显下降，而完成任务所需的总步骤数反而增加，两个指标同时变差。

这就是第一个坏习惯——"预测不可靠"，或者说动作块的有效可执行长度太短。机器人只敢用动作块最前面那一小段靠谱的部分，每次用完就得重新推理，频繁调用推理引擎。

第二个坏习惯是"动作冗余"。研究团队发现，即使机器人每次都能成功完成任务，它走的路也往往比必要的路长很多。对同一个任务进行多次实验，会发现完成步骤数差异极大。有时机器人会偶然走出一条很短的路径，说明短路径在物理上是完全可行的；但这种高效走法只是"偶然出现"，机器人没有能力稳定复现它。究其原因，机器人是通过模仿人类示范动作来学习的，人类示范时本身就不是最优的，有各种无谓的停顿和迂回，机器人忠实地学到了这些低效习惯，却没有任何机制引导它变得更简洁。

这两个问题加在一起，共同决定了机器人完成任务需要多少次推理调用：频繁的重新推理（因为动作块太短）乘以每次推理后冗余的物理步骤（因为路径不简洁），导致总体效率极低。

三、PolicyTrim：一套让机器人"越来越聪明"的训练方案

为了同时解决上面这两个问题，研究团队设计了一套名为PolicyTrim的训练框架。这套框架的核心思路是：不修改机器人的硬件，不新增训练数据，仅通过强化学习的方式对已有的VLA模型进行"再训练"，让它从实际执行经验中学会更高效的行为。

整个框架分为两个依次进行的训练阶段，就像运动员先练体能、再练技巧一样，两个阶段各有侧重，循序渐进地解决不同问题。

第一阶段的目标是解决"预测不可靠"问题，让机器人能更放心地执行更长的动作块。研究团队使用了一种叫"动态执行视野探索"的机制。具体来说，在每一轮训练中，他们让机器人对同一个任务同时尝试多次，但每次尝试所使用的动作块长度不一样——有的用短块（比如原来默认的长度），有的用中等长度的块，有的用接近最长的块。然后，根据每次尝试的结果来给予奖励：成功完成任务的尝试能得到奖励，而且用了越长动作块还成功的，得到的额外奖励就越多。

这个设计非常聪明，其背后的逻辑类似于"用奖学金鼓励学生挑战更难的课程"。机器人通过实际尝试不同长度的动作块，能够自我发现"原来我能可靠执行到第15步，之前只用到第5步是太保守了"。同时，为了防止机器人走极端、一味追求长动作块而忽视成功率，研究团队规定：只有当这批尝试中至少有一次成功时，才会激活"长度越长奖励越高"的额外奖励机制。这样一来，机器人在寻求更长动作块的同时，完成任务始终是前提。

经过第一阶段训练后，机器人预测的可靠范围被有效拓展了，能够在更长的动作块内保持准确性。但研究团队注意到，光这样做还不够——动作块虽然变长了，但机器人完成任务的总步骤数并没有减少，有时甚至还会因为尾端预测的误差积累而略微增加。这意味着需要第二阶段来继续优化。

第二阶段的目标是解决"动作冗余"问题，让机器人走更少的路就能完成任务。研究团队设计了一套"节步奖励"机制：根据机器人历史平均成功步骤数，设定一个"步数预算"，完成任务时用的步骤越少于这个预算，获得的奖励就越高；如果步骤数超出预算，就没有额外奖励。这就像一个快递员，送达货物才算完成任务，但如果他走的路比平均路线短，就能额外得到效率奖金。

然而，这里有一个微妙的陷阱。如果只是单纯奖励步骤少，机器人会开始"投机取巧"——它可能会偶然发现某个特别短的路径，然后拼命走这条路，但这条路实际上非常脆弱，稍有干扰就会失败。换句话说，机器人会学到一些"运气好才能成功"的短路径，而不是真正高效且可靠的策略。

为了解决这个问题，研究团队引入了一个"群体稳定性惩罚"机制。它的工作原理是：在每批同时进行的多次尝试中，计算所有成功尝试的平均步骤数和步骤数的波动程度。如果某一次尝试的步骤数与这批尝试的平均值相差太远（无论是特别多还是特别少），就会被额外扣分。这就像是老师不只看学生的最高分，也会关注成绩是否稳定——忽高忽低的不稳定表现会被扣分，稳定维持在高水平才是真本事。通过这种机制，机器人被引导去追求"稳定地节省步骤"，而不是"偶尔赌一把走捷径"。

研究团队还在这个机制中加入了一个细节：当机器人已经找到一种非常稳定的高效方式后，步骤数的波动本身就会变得很小，这时候如果还对微小偏差严格惩罚，反而会让训练过度僵化。所以他们设置了一个"最低波动阈值"，当实际波动已经低于这个阈值时，就不再施加额外惩罚，保证训练过程在接近收敛时依然平稳。

四、训练背后的技术支撑：强化学习如何工作

PolicyTrim的两个阶段都建立在一种叫做GRPO（Group Relative Policy Optimization，群体相对策略优化）的强化学习算法之上。理解这个算法不需要数学背景，只需要明白一个核心思想：通过对比同一批尝试中的好结果和坏结果，来判断哪些行为值得强化、哪些行为应该避免。

传统的强化学习需要一个额外的"评分员模型"来给每次尝试打分，这会消耗大量内存，对于本来就已经很大的VLA模型来说几乎无法承受。GRPO的聪明之处在于：它不需要额外的评分员，而是通过比较同一批次内部各次尝试的奖励，用组内的平均值和标准差来归一化每次尝试的得分，从而判断哪次尝试比平均水平好、哪次比平均水平差。这就像不用聘请专业裁判，而是让参赛者彼此比较来决出名次。

PolicyTrim将上述精心设计的奖励函数（包括任务完成奖励、长度奖励、节步奖励、稳定性惩罚）输入到这个框架中，在机器人真实执行任务的过程中不断调整它的策略，使其逐渐学会更高效的行为模式。整个过程不需要人类专家提供新的示范数据，机器人完全通过自己的执行经验来学习。

值得一提的是，PolicyTrim还设置了一个KL散度惩罚项，目的是防止机器人训练过程中"矫枉过正"——不能因为追求效率就把原本已经学会的好的操作技能全部忘掉，新学的行为必须在原有技能基础上进行合理优化。

五、实验结果：数字背后的意义

研究团队在三个标准机器人操作测试平台上验证了PolicyTrim的效果，分别是LIBERO（一个桌面操作基准，包含四种难度递增的子任务）、ManiSkill（一个物理仿真丰富的精密操作平台）和Meta-World（一个覆盖50种不同操作任务的综合测试集）。同时，他们还在真实机器人上进行了实物部署测试。

实验覆盖了三款主流VLA模型：π0.5（一种基于扩散过程的流匹配动作生成模型）、OpenVLA-OFT（基于70亿参数语言模型的并行解码架构）以及GR00T（NVIDIA开发的人形机器人通用基础模型，采用双系统设计，一个模块负责语言推理，另一个负责快速动作生成）。

在LIBERO测试集上，结果相当亮眼。以π0.5模型为例，在完成物体摆放任务时，基础模型平均需要125步，而PolicyTrim处理后只需64步，降幅达到48.6%，同时任务成功率从99.1%保持在98.5%，几乎没有损失。动作块的有效执行长度从原来的5步扩展到15步，整整翻了三倍。端到端的执行加速比达到5.83倍——也就是说，相同的任务，用PolicyTrim训练的机器人完成速度约是原来的5.83倍，而成功率相当。在空间推理任务、目标条件推理任务上也取得了类似的加速效果，连续多步骤的长时操作任务（LIBERO-Long）也获得了2.91倍的加速。

对于GR00T模型，PolicyTrim同样将动作块从5步扩展到10步，各任务加速比在2.08倍到2.37倍之间。OpenVLA-OFT由于架构特殊性（其并行解码机制对动作块长度极为敏感，稍微增加长度就会导致严重的精度退化），研究团队只对其应用了第二阶段的节步优化，仍取得了1.40倍到1.97倍不等的加速效果。

在ManiSkill和Meta-World上，π0.5配合PolicyTrim分别实现了2.36倍和2.52倍的加速，成功率还略有提升，说明这套方法不只是针对特定任务的"过拟合"优化，而是真实提升了模型的执行策略质量。

真实机器人实验部分，研究团队使用了一款叫做Agilex Piper的机械臂，配备两个深度相机，在三种桌面任务（翻转马克杯、挂起马克杯、打包胶带）上进行测试。PolicyTrim让平均执行时间从约16秒缩短到约9秒，平均加速1.86倍，而且成功率保持相当甚至略有提升。

六、拆解实验：每个组件各自贡献了什么？

研究团队还进行了细致的消融实验，也就是逐一去掉框架的某个部分，观察整体性能的变化，以此验证每个设计决策的价值。

当只保留第一阶段的"可靠动作块扩展"训练时，动作块长度确实从5步扩展到15步，推理调用频率降低，整体加速了2.86倍。但是，总物理步骤数反而从108步略微增加到113步。这印证了研究团队的判断：更长的动作块虽然减少了推理次数，但如果尾端预测的轻微误差积累没有被解决，反而会让机器人做更多纠错动作。所以第二阶段的节步优化是必不可少的补充。

当只保留第二阶段的"节步奖励"但不加稳定性惩罚时，总步骤数从108步下降到81步，减少幅度不小，但成功率从97.8%骤降到93.7%。机器人确实学会了走更短的路，但这些短路是靠"碰运气"发现的，根本无法稳定重现。

加上"群体稳定性惩罚"后，奇迹发生了：成功率从93.7%回升到97.5%，而总步骤数进一步降低到61步，比只用节步奖励时还要少。稳定性惩罚不只修复了成功率的崩溃，还帮助机器人找到了更可靠的高效路径，两个指标同时改善。从训练曲线图上也能清晰看到：没有稳定性惩罚的版本在训练到125步左右时奖励就开始崩溃，而加了稳定性惩罚的版本则一路稳步攀升，直到600步以上都保持良好态势。

关于"动态执行视野探索"是否必要，研究团队也做了对比。将多种长度混合探索替换为单一固定长度后，固定长度越长，成功率下降越明显。固定使用75%长度时成功率降到95.8%，固定使用100%全长时更是降到94.4%。而混合探索策略在保持98.8%成功率的同时，将动作块扩展到15步，与固定75%的覆盖长度相当，却几乎没有牺牲成功率，体现了渐进式探索的关键价值。

七、与其他加速方法叠加使用的效果

研究团队还专门测试了将PolicyTrim与另一种主流加速技术VLA-Cache结合使用的效果。VLA-Cache是一种"计算加速"方法，它通过缓存视觉信息来减少每次推理的计算量，让每一次推理本身变得更快，但并不改变推理的次数。

这两种方法分别对应不同的效率轴：PolicyTrim减少推理次数，VLA-Cache加快每次推理速度。单独使用VLA-Cache可以让执行速度提升约1.26倍。而在VLA-Cache的基础上再叠加PolicyTrim，加速效果分别提升到2.23倍、2.48倍、2.26倍和1.76倍（对应LIBERO的四个子任务）。两种方法在同一个系统中各自发挥作用，互不干扰，最终效果远超两者单独使用，充分说明"计算效率"和"策略效率"是两个完全独立的优化空间，可以同时开发。

八、超越仿真：视觉干扰下的鲁棒性测试

为了验证PolicyTrim学到的不只是"在正常环境下走捷径"，研究团队还在视觉受干扰的条件下测试了模型的表现。他们在LIBERO的空间任务上施加了两种干扰：一种是对摄像头图像施加模糊处理（相当于给机器人戴上一副模糊的眼镜），另一种是随机遮挡50%的图像（相当于遮住机器人视野的一半）。

在这两种情况下，PolicyTrim训练的模型不但成功率高于基础模型（高出约8到9个百分点），执行步骤数也明显更少。这说明PolicyTrim让机器人形成了更稳健、更高效的行动策略，而不只是针对标准场景的过度优化，在真实世界中的不完美视觉条件下同样有效。

九、训练成本与通用性的平衡

有读者可能会问：这套再训练需要花多少计算资源？研究团队报告，在8张H100显卡上，完整的PolicyTrim两阶段训练耗时约68小时，而对比的基础RL训练约需78小时，PolicyTrim反而因为动作块更长、每次推理覆盖更多步骤，使得每次环境交互的效率更高，实际训练时间略短。考虑到训练一次之后获得的执行加速效益可以在大量部署任务中持续复用，这个训练投入是合理的。

此外，为了进行对比，研究团队还验证了一个"什么都不做只是拉长动作块"的基准实验。结果表明，直接把执行长度从5步强制改到20步，成功率从97.8%跌至93.1%。而PolicyTrim的第一阶段训练后，在相同的15步长度下，成功率依然保持在97.2%，证明提升来自真实的策略改进，不是简单调参数的效果。

说到底，这项研究发现了一件看似简单但实际上被长期忽视的事：机器人的低效，很大程度上不是因为它的"大脑"运算太慢，而是因为它天生就没学会"走直线"。就像一个走路时总要多绕几步才能到达目的地的人，你给他换一双更快的跑鞋固然有用，但如果能帮他学会不绕弯路，效果会更根本。

PolicyTrim干的就是这件事——通过强化学习的方式，让机器人从实际执行经验中自我学习，逐渐养成两个好习惯：一是更长时间地相信自己的预判，不必频繁"回头看一眼食谱"；二是在路径选择上变得更简洁，不做无谓的迂回。两个阶段的训练相互配合，最终带来了接近6倍的端到端加速，而且在真实机器人上得到了验证。

这项研究也给机器人领域提了一个重要的醒：在追求更快的推理芯片、更聪明的模型架构之外，"训练出来的行为本身是否高效"同样值得认真对待。当前大多数VLA模型都是通过模仿人类示范来学习的，人类示范本身并不追求效率最大化，机器人就这样继承了很多"人类式的低效习惯"。PolicyTrim提供了一条通过强化学习来纠正这些习惯的可行路径，且不需要收集新数据或改动模型结构，具有较高的实用价值。

对于普通用户来说，这意味着未来的家用或工业机器人在执行任务时可以更快、更干脆，既节省时间，也降低能耗。对于研究者来说，这项工作明确提出了"策略效率"和"计算效率"两个正交优化方向可以叠加，为机器人系统的整体加速开辟了更完整的思路。

至于未来，研究团队提到，他们的下一步设想是将PolicyTrim与"设备端持续学习"结合，让机器人不只是在实验室里学会高效行为，还能在实际部署过程中持续适应新环境，进一步提升效率。这个方向若能实现，机器人将从一个"被训练好的工具"变成一个"会在工作中持续进步的助手"，听起来颇为值得期待。有兴趣深入了解细节的读者，可以通过arXiv编号2606.22540查阅完整论文。

Q&A

Q1：PolicyTrim训练是否需要额外的人类示范数据？

A：不需要。PolicyTrim是一套强化学习框架，机器人通过在真实任务中反复执行并从结果中学习，完全依赖自身的执行经验来优化策略，不需要人类专家提供额外的示范数据，也不需要对模型的硬件或网络结构做任何修改。

Q2：PolicyTrim的两个训练阶段为什么必须分开而不能同时进行？

A：研究团队认为这两个阶段解决的是本质不同的子问题。第一阶段专注于提升动作块的可靠性，第二阶段才能在可靠预测的基础上压缩冗余步骤。如果同时优化，两个目标的奖励信号会相互干扰，容易导致训练不稳定。先打好可靠预测的基础，再在此之上追求步骤简洁，是研究团队验证后认为更有效的路径。

Q3：VLA模型的内在策略效率问题是怎么造成的？

A：根本原因在于VLA模型主要通过模仿学习来训练，目标是重现人类示范的行为，而人类示范本身并不追求效率最大化，包含各种无谓的迂回和停顿。模型忠实地学到了这些低效习惯，同时，动作块的尾端预测因为训练分布限制而质量下降，导致机器人不得不频繁重新推理并进行纠错动作，进一步加剧了总步骤数的膨胀。