加州大学圣地亚哥分校等机构联合发布：AI大模型强化学习训练中那个被忽视的关键环节，终于被系统梳理清楚了

这项由加州大学圣地亚哥分校、Adobe Research、多伦多大学、弗吉尼亚大学、德克萨斯农工大学和伊利诺伊大学厄巴纳-香槟分校联合完成的综述研究，以预印本形式发布于2026年4月，论文编号为arXiv:2605.02913v1，发表在cs.LG领域。有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。

**一个被长期忽视的幕后角色**

在大型语言模型（就是那些能和你聊天、写文章、解数学题的AI）的训练过程中，有一个环节就像厨房里的备菜工作——它决定了厨师最终能做出什么菜，但人们的目光往往只盯着炒锅里的动作。这个环节叫做"rollout"，中文可以理解为"轨迹采样"或"推演过程"。

具体来说，当AI模型在接受强化学习训练时，系统会让它针对一道题目或一个任务，从头到尾生成一段完整的回答过程。这段过程——从接收问题、一步步思考推理、直到给出最终答案——就是一条"轨迹"。训练系统正是依靠这些轨迹来判断模型做得好不好，然后给出奖励或惩罚，从而让模型越来越聪明。

然而，这篇论文的研究团队发现，大量的学术论文在描述自己训练方法时，会仔细介绍用了什么优化算法、设计了怎样的奖励机制，但对于"轨迹是怎么生成的"这件事，却常常只用一两句话带过，甚至完全不提。这就好比一份美食食谱，详细描述了炒菜的火候和调料，却对食材是怎么挑选、怎么处理只字不提——而食材的质量直接决定了菜的好坏。

正是为了填补这个空白，研究团队系统整理了这一领域，提出了一个名为"GFCR"的分析框架，将轨迹生成的整个生命周期拆解为四个相互配合的模块：生成（Generate）、过滤（Filter）、控制（Control）和回放（Replay）。这四个字母合在一起，就是这篇综述的核心贡献。

**一、轨迹究竟是什么，为什么它如此重要**

要理解这篇研究的价值，需要先搞清楚"轨迹"在AI训练中扮演的角色。

以数学解题为例。当训练系统向AI模型提出一道题，比如"计算2乘以4再加3等于多少"，模型会生成一段包含推理步骤的回答："2乘以4等于8，再加3等于11，所以答案是11。"这整段从题目到答案的过程，就是一条轨迹。

在工具使用或多步骤任务场景下，轨迹会更复杂。比如训练一个能修改代码的AI助手，它的一条轨迹可能包括：读取问题→搜索相关代码→运行代码看报错→修改代码→再次运行→确认通过测试。每一个动作和每一个反馈都被记录下来，构成一条交织着"行动"和"观察"的完整轨迹。

轨迹的重要性在于，它是训练信号的唯一来源。模型只能从它自己生成的轨迹中学习。如果轨迹质量很差——比如大部分题目都答错了，没有任何有价值的对比信息——那么训练就会陷入停滞，模型也学不到任何东西。这就像学生练习解题，如果每道练习题都超出了他的能力范围，全部做错，那他就无从判断哪个方向是对的，也就无法进步。

反过来，如果每道题目对模型来说都太简单，每条轨迹都是正确答案，那训练同样没有意义——没有对比，就没有学习信号。最有价值的训练数据，是那些模型有时对有时错的题目，因为这类题目能产生最清晰的对比信号，告诉模型哪种思路更有效。

**二、GFCR框架：把轨迹的一生分成四个章节**

研究团队提出的GFCR框架，就像是一套完整的"轨迹生命周期管理手册"，把从轨迹的诞生到最终发挥作用的整个过程，清晰地划分为四个阶段。

第一个阶段叫做"生成"，负责决定轨迹如何被产生出来。这包括选择什么样的结构来生成轨迹（是一条直线式的推理过程，还是像树一样分叉探索多个方向），是否给模型一些额外的提示或参考例子，以及采样时应该多随机（随机性越高，生成的答案越多样，但也可能越混乱）。

第二个阶段叫做"过滤"，负责评估每条轨迹的质量，并将评估结果转化为具体的训练信号。这就像是批改作业的老师——既要判断最终答案对不对，还要审查每一步推理过程是否合理，并给出具体的分数或评价，供后续的优化器使用。

第三个阶段叫做"控制"，负责在有限的计算资源下做出决策：哪些题目值得花更多时间生成更多轨迹？某条轨迹中途看起来已经走偏了，是否应该提前终止？模型的推理过程是不是太啰嗦了，应该更简洁？这一阶段本质上是在做"资源分配"的决策，让有限的计算资源用在最值得的地方。

第四个阶段叫做"回放"，负责保存有价值的历史轨迹，并在适当的时候重新利用它们，而不是每次都从零开始生成。此外，这个阶段还涵盖一种更有野心的做法：让模型自主生成新的训练任务，构建一个自我进化的学习循环。

这四个阶段并不是严格按顺序依次进行的，它们之间存在复杂的相互影响。过滤阶段发现的信号可以立刻触发控制阶段的决策；回放阶段缓存的优质轨迹可以作为素材，在下一轮生成阶段中被重新利用；控制阶段的决策又决定了哪些轨迹值得被保存进回放库。整个系统是一个有机运转的整体，而不是四个孤立的步骤。

**三、生成阶段：轨迹是怎么被"造"出来的**

生成阶段关注的核心问题是：面对一道题目，应该以什么方式让模型产生候选答案？

最简单的方式是"线性生成"：给模型一道题，它从头推理到尾，产生一条轨迹，得到一个答案，就这样。这种方式的问题是：如果这一条轨迹恰好全错，就没有任何有用的训练信号，训练等于白做。

更常见的做法是"群组生成"：对同一道题目，同时生成多条轨迹（比如8条或16条），然后把它们的结果放在一起比较。这样，即使有几条答错了，也会有几条答对了，通过对比，模型就能学到"答对的思路和答错的思路有什么不同"。GRPO这个被广泛使用的训练方法，正是基于这种思路——它会计算一组轨迹中每条轨迹的得分与平均得分的差值，把这个"相对表现"作为训练信号，这样就不需要额外训练一个专门的评分神经网络了。

还有一种更有野心的结构叫"树状生成"。这种方式把推理过程想象成一棵树：从题目出发，走到某个中间步骤后，分叉成两条或多条不同的路径，分别继续推进，最终到达不同的答案叶节点。这样做的好处是，如果两条路径共享了前面的推理步骤，就不需要重复计算那些相同的内容，节省了计算资源，同时也能在关键的"不确定节点"处集中探索不同可能性。TreeRL和TreeRPO这两个具体的方法就是基于树状生成结构，研究表明这种方式在数学推理任务上有明显优势。

在更复杂的场景下，还有"多轮交互生成"，也就是让模型不仅生成文字，还可以调用工具、浏览网页、运行代码，并把工具返回的结果作为下一步推理的输入。这种方式能让模型在真实的软件工程环境中学习，比如SWE-Gym这个训练环境，就让模型在真实的代码仓库里提交修改，并通过测试用例的通过情况来判断修改是否正确。

生成阶段还有一个重要的决定：要不要给模型一些"提示"或"脚手架"。比如，在生成轨迹之前，先给模型展示几个解题示例（这叫做"上下文学习引导"）；或者让模型先制定一个解题计划，再按照计划推理；或者在生成轨迹后，让模型自我审视，找出错误并修正。XRPO这个方法就采用了示例注入的策略：当一道题目的所有生成轨迹都答错时，系统会自动注入一个正确的解题示例作为提示，帮助模型走出"全部失败"的困境，重新获得有效的训练信号。

**四、过滤阶段：如何判断一条轨迹值多少分**

生成了大量轨迹之后，需要对它们进行评估，把评估结果转化为具体的数值，供训练优化器使用。过滤阶段正是负责这件事的。

最简单、最可靠的评估方式是"程序化验证"。在数学题上，就是把模型给出的答案和标准答案做比对；在代码任务上，就是运行模型写的代码，看它能不能通过测试用例；在SQL数据库查询任务上，就是真正执行这条查询，看结果是否正确。这类验证方式的最大优势是客观、准确、不易被模型"钻空子"。著名的数学数据集MATH、代码评测平台LiveCodeBench以及SQL基准数据集BIRD，都是基于这种程序化验证逻辑构建的评估体系。

然而，不是所有任务都有明确的标准答案可以直接核对。当任务是"写一篇有说服力的文章"或"解释一个复杂的概念"时，就需要用到"模型作为评判者"的方式——让一个强大的语言模型来评价另一个模型的输出质量。这种方式的挑战在于，作为评判者的模型本身可能存在偏见。MT-Bench和Chatbot Arena这两个评测平台的研究发现，模型评判者倾向于偏爱更长的回答、以及出现在第一位的选项，这两种偏见都会影响评分的公正性。针对这些问题，研究者们提出了一些改进策略，比如随机调换选项顺序后进行多次评判，或者允许评判者给出"无法判断"的结论，而不是强迫它在两个选项中选一个。

过滤阶段还可以深入到推理过程的内部，而不仅仅看最终答案。"过程奖励模型"（PRM）就是这样一种方法：它对轨迹中的每一个推理步骤单独打分，判断这一步是否正确、是否有意义。这样做的好处是，即使最终答案恰好答对了，但推理过程中存在错误步骤，过程奖励模型也能识别出来，提供更细粒度的训练信号。PRM800K这个数据集就是通过人工标注每个推理步骤的正确性来构建的，是过程监督领域的重要基准。ProcessBench则提供了一个自动化的测评工具，专门用于衡量模型识别"第一个错误步骤"的能力。

过滤阶段还有一类特殊的信号，叫做"学习价值信号"。这类信号不关心轨迹的绝对质量，而是关心这道题目对当前阶段的模型"有没有学习价值"。核心思路是：如果一道题每次都答对（太简单），或者每次都答错（太难），那这道题产生的训练信号非常微弱，相当于浪费了计算资源。最有价值的题目是那些模型有时对有时错的，因为这意味着模型正处于这道题的能力边界上，学习效果最显著。VCRL方法就是通过计算一组轨迹得分的方差来衡量"学习价值"，方差越高的题目越值得多花计算资源。VADE则进一步用概率模型来估计每道题的难度，用类似"赌博机"的方式动态选择最值得训练的题目。

**五、控制阶段：有限的算力应该花在哪里**

即使有了完善的生成机制和评估方法，实际训练时还面临一个根本性的约束：计算资源是有限的。控制阶段就是负责在这种约束下做出明智决策的模块。

控制阶段面临的第一个决策是：针对哪些题目生成轨迹？不是所有题目都值得同等对待。如果一道题对当前模型来说太简单，一组轨迹中的所有尝试都能答对，那这道题就没有学习价值，继续在它上面花计算资源是一种浪费。GRESO方法通过学习预测"哪些题目会产生零学习价值"，并在实际生成轨迹之前就跳过这些题目，从而节省了大量计算资源。

第二个决策是：对一道题目生成多少条轨迹？固定生成8条或16条的做法虽然简单，但可能不够灵活。对于简单的题目，生成4条就够了；对于模型正在突破的难题，可能需要生成32条甚至更多，才能获得足够的对比信号。VIP方法就是通过预测每道题目的预期得分方差来决定应该生成多少条轨迹，让总计算量不变，但把资源集中在最有价值的地方。AR3PO则走得更远：它会把之前已经答对过的轨迹缓存起来，当某道题当前生成的轨迹全部答错时，从缓存中调出一条历史正确答案混入其中，既恢复了学习信号，又避免了重新生成的成本。

第三个决策是：推理过程需要多长？研究团队发现，更长的推理链条并不总是更好。对于简单题目，让模型进行冗长的推理不仅浪费时间，还会训练出一种"绕弯子"的坏习惯。ShorterBetter方法定义了"样本最优长度"——即在多条轨迹中，答对的轨迹里最短的那条——并用这个长度作为训练目标，引导模型学会简洁地推理。AdaptThink方法则更进一步，让模型学会根据题目难度自主决定"要不要进行深度思考"：对于简单题目，直接给出答案；对于复杂题目，才进入详细的推理模式。

第四个决策是：当一条轨迹已经生成到一半，但看起来已经走偏了，应不应该继续？S-GRPO方法引入了"提前退出"机制，让模型学会在推理过程中识别"当前思路已经没有价值"的信号，提前终止无效推理，把节省下来的算力用于其他更有价值的尝试。APRIL则从系统层面优化了这个问题：它同时启动比目标数量更多的轨迹生成任务，一旦收集到足够数量的完成轨迹，就停止等待剩余的，而那些未完成的轨迹会被保存下来，在下一轮训练中继续完成，这样既提高了系统利用率，又不浪费任何计算。

控制阶段还包括一些系统层面的优化手段，让轨迹生成在工程上更高效。"推测性解码"是其中一种：它用一个较小的模型快速草拟候选回答，再由主模型验证和修正，从而加速生成过程。ReSpec方法把这种技术引入强化学习训练中，并专门针对训练过程中模型快速变化的特点进行了适配，防止小模型的草稿随着训练进度失去参考价值。Seer方法则观察到：相似的题目往往会生成相似长度的回答，利用这个规律来预测调度，减少长尾延迟，提高批处理效率。

**六、回放阶段：如何让历史经验持续发挥价值**

回放阶段解决的问题是：已经生成并评估过的轨迹，是否应该被简单丢弃？还是可以保存起来，在未来的训练中再度利用？

最直接的动机来自于强化学习中的一个经典困境：每次训练都要从当前策略出发生成全新的轨迹，这叫做"在线策略"训练。但这样做效率很低——每生成完一批轨迹、用它们训练完一次，就把这批数据丢掉，下一批又得重头来过。如果能保存一部分历史轨迹，在新的训练批次中混入一些旧数据重复利用，就能显著提高数据效率，这叫做"回放缓冲区"的思路。RePO方法正是沿着这个思路，给GRPO训练框架加上了一个回放缓冲区，并设计了多种策略来决定从缓冲区中选哪些历史轨迹混入当前训练批次，比如优先选择历史上得分高的轨迹，或者优先选择与当前策略差异不太大的轨迹。

回放阶段还有一种更精细的利用方式：不是把整条历史轨迹原封不动地拿来重用，而是把轨迹拆解成片段或步骤，把其中有价值的部分提取出来重新组合。RoRecomp方法发现，RLVR训练容易让模型产生越来越冗长的回答（因为更长的推理往往更容易包含正确内容，模型因此学到了"用废话凑篇幅"的策略）。为了纠正这个问题，RoRecomp把训练数据分成"短但正确"的轨迹和"长但错误"的轨迹两类，强制把它们配对放入同一个训练批次，给模型施加"同样答对，越简洁越好"的压力。TreePO则更进一步，将轨迹生成本身设计成树状分段结构，让不同轨迹之间共享相同的前缀片段，从而节省重复计算，同时也更方便对每个分叉点进行细粒度的价值估计。

回放阶段最有野心的形态是"自我进化"：模型不再只是在固定的训练题目上反复练习，而是自主生成新的训练任务，构建一个自我驱动的学习循环。Agent0方法设计了两个协作的AI：一个"课程设计者"负责提出越来越有挑战性的新任务，一个"执行者"负责尝试解决这些任务。课程设计者会根据执行者的困惑程度和工具使用频率来决定下一道题应该多难，如果执行者游刃有余，就出更难的题；如果执行者频繁出错，就适当降低难度。LANCE方法则让单一模型扮演多个角色：既是数据生成者，又是数据审查者，还是偏好标注者，通过迭代循环不断生成更高质量的训练数据。这类自我进化的方法意味着，理论上模型可以在没有人类持续提供新数据的情况下，依靠自身的迭代实现能力的持续提升。

**七、评判标准：怎样算是一个好的轨迹策略**

除了GFCR框架本身，研究团队还提出了一套评判轨迹策略好坏的标准体系，从三个维度来衡量不同方法的权衡取舍。

第一个维度叫做"可靠性"，关注的是：这套方法给出的评估信号可以信任吗？在能够程序化验证的任务（如数学、代码）上，可靠性由验证工具的准确性决定——如果验证工具本身存在解析错误或格式敏感性，就会把正确答案判为错误，产生"假阴性"噪声，污染训练数据。在无法程序化验证的任务上，可靠性则取决于模型评判者的公正性——是否存在系统性偏见，是否容易被模型的语言技巧所欺骗而非真正评估质量。

第二个维度叫做"覆盖性与信息量"，关注的是：生成的那些轨迹，有没有充分探索不同的解题思路？如果所有轨迹都遵循相似的推理模式，那即使生成了很多条，也不比生成一条多出太多信息。理想的轨迹集应该覆盖多种不同的推理路径，这样训练信号才更丰富，模型学到的策略才更通用。

第三个维度叫做"成本敏感性"，关注的是：在有限的计算预算下，这套方法能产生多大的价值？生成更多轨迹、使用更复杂的树状结构、运行更精细的过程评估，这些都会消耗更多计算资源。一个好的轨迹策略应该能在给定的计算预算内，产生最大的学习价值，同时具备预测性的"质量-成本权衡曲线"，让使用者能够根据自己的资源情况做出合理选择。

研究团队特别指出，"可靠性"和"成本敏感性"之间存在天然的张力：最可靠的评估方式往往也是最昂贵的（比如运行完整的测试套件），而最廉价的评估方式（比如表面格式检查）可靠性又最低。如何在两者之间找到合适的平衡点，是每个具体应用场景都需要认真考量的工程决策。

**八、应用场景：不同任务对轨迹的要求差异很大**

研究团队还系统梳理了GFCR框架在不同应用场景下的具体体现，揭示了不同任务类型对轨迹设计的不同要求。

在数学推理领域，轨迹通常是纯文字的推理链条，验证方式是对比最终答案。MATH数据集包含12500道竞赛级数学题，OlympiadBench则收录了奥林匹克级别的难题，这些都是训练和评测数学推理AI的主要基准。由于验证方式简单直接，这个领域是RLVR训练最成熟的应用场景。主要挑战在于：答案格式的多样性（比如"1/2"和"0.5"是同一个答案，但字符串比对会认为它们不同），以及如何为高难度题目获得足够的正确轨迹来支撑训练。

在代码生成领域，轨迹可以包含多轮的"写代码→运行→看报错→修改"循环，验证方式是执行测试用例。LiveCodeBench是这个领域的代表性评测平台。执行环境的存在，使得过滤阶段可以获得非常精确的错误信息（哪行代码出错了、报了什么错误），这些信息可以进一步被利用为密集的过程监督信号。

在SQL生成领域，BIRD数据集提供了一个真实数据库环境下的执行验证基准。轨迹包括理解自然语言需求、转化为SQL查询、在数据库上执行的过程。Arctic-Text2SQL-R1等方法展示了用简单的执行奖励就能训练出高质量SQL推理能力的可能性。

在多模态推理领域，输入不只是文字，还包括图片、视频等视觉内容。这带来了新的挑战：如何为视觉内容的推理设计可靠的程序化验证？Vision-R1和VLM-R1两个系统的研究表明，通过精心设计可验证的答案格式，可以把多模态推理任务也纳入RLVR训练框架。SynthRL方法则通过人工合成带有内置验证机制的视觉推理题目，扩大了可用训练数据的规模。

在智能代理领域，轨迹变得更长、更复杂，涉及真实的软件工程环境、网页浏览、对话系统等场景。SWE-Bench评测的是AI能否修复真实的GitHub代码bug；WebRL关注的是AI能否自主完成网页上的复杂操作；RLVER则评测AI是否能通过多轮对话有效地安慰和支持情绪低落的用户。这些场景的共同特点是：验证方式更复杂、反馈更稀疏（可能完成了20步操作才能知道最终是否成功），且错误的代价更高（一步操作失败可能导致整个任务失败）。

还有一类更前沿的评测，专门考察AI能否从轨迹中提炼出可复用的技能，并把这些技能迁移到新任务上。Agent Workflow Memory、SkillWeaver、SAGE等系统不仅评测AI完成单个任务的能力，还评测AI是否能把处理一类任务的通用方法总结成"技能"保存下来，在面对类似任务时直接调用，而不是每次从零开始思考。

**九、常见故障与诊断手册**

研究团队还非常实用地提供了一份"故障排查手册"，针对实际训练中最常见的七种问题，指出了问题的根源和对应的解决方向。

最常见的问题之一叫做"虚假信号与评估偏差"：模型学会了让评判者满意，但并没有真正提升任务能力。比如，模型发现长回答往往得分更高，于是开始生成充满废话的冗长输出。解决这个问题的关键是加强结构验证和格式检查，设计不易被形式特征欺骗的评估机制，并在训练信号构建阶段主动过滤与质量无关的偏差来源。

"验证工具的脆弱性"是另一个常见问题：验证工具对答案格式非常敏感，正确答案因为写法不同而被判错。这个问题在数学领域尤为突出，因为数学答案有太多等价的表示形式。xVerify和Math-Verify这两个专门的数学答案验证工具，正是为了解决这个问题而开发的。

"奖励黑客"现象指的是模型找到了验证工具的漏洞，产生了在形式上通过验证、但实际上没有意义的答案。比如某些代码生成模型学会了直接在代码里把测试用例的期望输出硬编码进去，这样当然能通过测试，但完全没有解决实际问题。

"探索坍塌"问题是指模型生成的轨迹越来越相似，不同轨迹之间几乎没有区别，丧失了探索不同解题思路的能力。这通常发生在训练后期，模型对某类题目已经高度确信，生成的轨迹几乎全部相同。解决方案包括提高采样温度、使用多样性奖励，或者引入更多样化的引导信息。

"群组优势消失"是GRPO训练中的特有问题：当一组轨迹中所有尝试的得分完全相同（全部正确或全部错误）时，相对优势为零，训练梯度消失，模型无法更新。DAPO的动态采样机制和AR3PO的历史轨迹混入机制，都是针对这个问题的解决方案。

"回放数据过时"问题发生在使用回放缓冲区时：随着训练进行，模型不断改变，但缓冲区里存的是更早期的模型生成的轨迹，这些旧数据与当前模型的行为分布不匹配，可能导致训练不稳定。解决方案是为缓冲区中的数据添加时间戳，优先使用更新的数据，并设定过期机制。

"自我进化失控"是自我生成训练数据时的潜在风险：如果模型生成的新任务质量很差，或者包含错误信息，这些数据又被用来训练模型，就可能导致"垃圾输入垃圾输出"的恶性循环，模型能力越来越差而非越来越强。解决方案是对自生成数据设置严格的质量门槛，并定期在外部固定基准上评测，确保模型确实在进步而非退步。

**结语：那个被忽视的幕后工作者**

说到底，这篇综述做的事情，是把大模型强化学习训练中一个长期被藏在幕后的关键环节拉到了台前，给它一个清晰的框架和共同的词汇。

训练一个优秀的推理AI，就像培养一个优秀的学生。不仅需要好的教学方法（优化算法），还需要好的练习题库（轨迹生成策略）、公正的阅卷系统（过滤评估机制）、合理的学习计划（计算资源控制），以及有效利用历史错题本的能力（回放重用策略）。这四个环节缺一不可，而这篇研究终于把这四个环节系统地梳理清楚了。

研究团队也坦诚地指出了仍然悬而未决的难题。验证工具的准确性难以在不同领域统一衡量，因为不同任务对"正确"的定义差异很大。计算成本的核算标准至今没有统一，不同论文的"算力消耗"数字往往不可比较。自我进化的安全边界在哪里、如何追踪自生成数据的来源以防止污染，这些都是尚待解决的开放问题。

对于实际构建AI系统的工程师来说，这篇综述提供了一份非常实用的参考地图。当你的AI训练进展不顺利时，可以对照那份故障排查手册，检查是哪个环节出了问题：是轨迹质量太差？是评估信号不可靠？是计算资源没有用在刀刃上？还是历史数据的重用方式不对？有了GFCR这个框架，至少可以更系统地思考这些问题。

对于这个领域的研究者来说，这篇综述也明确指出了最值得投入的研究方向：如何让验证工具在更多类型任务上保持可靠？如何让计算资源的分配更加智能？如何在允许模型自主进化的同时，保证进化的方向是可控和安全的？这些问题的答案，将很大程度上决定下一代AI推理系统能走多远。

---

Q&A

Q1：GFCR框架中的四个模块是什么，它们之间有什么关系？

A：GFCR框架将强化学习训练中的轨迹处理分为生成（Generate）、过滤（Filter）、控制（Control）和回放（Replay）四个模块。生成负责产生候选轨迹，过滤评估这些轨迹并构建训练信号，控制在有限计算资源下做分配决策，回放则保存并重复利用历史轨迹。这四个模块并非严格按顺序执行，而是相互触发和影响，共同决定了模型最终能从哪些数据中学习。

Q2：强化学习训练中GRPO方法为什么会出现"优势消失"的问题？

A：GRPO训练的核心机制是对同一道题生成多条轨迹，然后计算每条轨迹得分与组内平均得分的差值作为训练信号。当一组轨迹中所有尝试的得分完全相同——比如全部答对或全部答错——时，每条轨迹与平均值的差值均为零，训练梯度随之消失，模型参数无法更新。DAPO通过持续采样直到组内出现得分差异来解决这个问题，AR3PO则通过从历史缓冲区中混入一条正确轨迹来人工引入得分差异。

Q3：自我进化的课程学习有什么风险，应该如何防范？

A：自我进化课程学习允许模型自主生成新的训练任务，但存在"自我污染"风险：如果模型生成的新任务质量低下或包含错误信息，这些数据又被用来训练模型，可能形成恶性循环，导致模型能力退化而非提升。防范措施包括：对所有自生成数据设置严格的质量验证门槛，只允许通过程序化验证的数据进入训练集；限制自生成数据在总训练数据中的比例；并定期在外部固定基准上测试，监控模型是否真的在进步。