EasyPPO：为什么强化学习训练大模型时，那个负责打分的"评论家"总是先崩溃

先问你一个问题。

如果你要训练一个AI模型做数学题，你会用什么办法奖惩它？最简单的思路是，做对了给一分，做错了给零分，模型根据这个反馈不断调整自己。听起来很合理对吧。但当研究者们把这套逻辑用在更复杂的场景，比如写代码、做多轮搜索的时候，一个诡异的现象出现了：模型训练着训练着，突然就崩了。训练分数直接从不错的水平跌到接近零，而且往往发生得毫无预兆。

这不是个例。加州大学伯克利分校和普林斯顿大学的研究团队在最新论文里指出，这种崩溃在PPO（一种经典的强化学习算法）训练大语言模型时反复出现，而且问题不出在大家最常怀疑的"策略网络"上，而是出在一个容易被忽视的组件：评论家（critic）。

PPO*：全称Proximal Policy Optimization（近端策略优化），是强化学习里的一种经典算法。它有两个核心角色，一个是"演员"（actor），负责生成动作或回答；另一个是"评论家"（critic），负责给演员的表现打分，估计"这个回答大概能拿多少分"。演员根据评论家的打分来调整自己的行为。

这篇论文的核心发现是：评论家不是配角，它是整个训练能不能稳住的关键先生。

问题到底出在哪儿

先说清楚背景。现在训练大模型做推理任务，流行的做法是RLVR（强化学习配合可验证奖励），也就是让模型自己生成答案，然后用一个明确的规则（比如代码能不能跑通、答案对不对）来打分，模型根据分数不断改进。

PPO是这套体系里比较讲究的一种算法。它不像另一种流行方法GRPO那样只靠同一批回答互相比较打分，而是专门训练一个评论家网络，用历史数据估计每个状态"平均能拿多少回报"，这样能让训练信号更稳定，方差更小。理论上，这应该是个优点。

但研究者发现，即使每批采样多达512条回答，评论家依然会出问题，而且是两种不同性质的问题同时存在。

第一个问题和"超长截断"有关。大模型生成回答的时候，如果输出太长超过了设定上限，会被强制截断，这种回答的分数往往不可靠，因为它压根没说完。之前的DAPO等工作提出一个解决方案：把这些截断的回答直接从训练数据里剔除，只用完整的回答来更新模型。这个做法在GRPO里效果不错。但研究者发现，如果把这个"过滤截断样本"的规则同时用在演员和评论家身上，会出现一个隐蔽的漂移：模型的优化目标悄悄变成了"在能说完话的前提下，回报要多高"，而不是"整体上回报要多高"。

这听起来有点绕，换个说法。假设你在训练一个学生做卷子，你的规则是"只统计做完的卷子的分数"。学生很聪明，发现了这个规则的漏洞：只要故意拖慢速度做不完，这张卷子就不会被记入平均分。于是学生开始想方设法拖延，因为反正做不完的卷子不计分，而做完的部分只要写得漂亮，平均分照样好看。结果就是，这个学生"完成的卷子"质量越来越高，但"完成率"却越来越低，实际学习效果反而在下降。

如果不这样设计会怎样？论文用实验数据说话：在代码生成任务FrontierCS上，如果演员和评论家都过滤截断样本，训练到大约100步的时候，截断率逼近1（也就是几乎所有回答都超时了），而整体奖励长期维持在很低的水平，尽管"完成的那部分回答"的平均分看起来还不错。这正是前面那个做卷子比喻里的陷阱：局部指标在改善，整体表现却在恶化。

第二个问题更微妙，和"噪声异质性"有关。

方差*：统计学概念，描述一组数据的离散程度。方差越大，说明这组数据忽高忽低，越不稳定。

不同的问题（prompt），模型给出的回答质量波动幅度是不一样的。有的题目模型每次答案都差不多稳定，有的题目模型时而答得很好时而很差，波动巨大。这种差异在"连续奖励"任务里尤其明显。论文举了个例子，在GPU代码优化任务里，有的解法相对基准只能快1倍左右，有的专门优化过的算子能快100倍以上，奖励的量纲完全不在一个层级。

评论家训练的目标是预测"这道题平均能拿多少分"，用的是均方误差损失。研究者做了一个数学推导，发现这个损失函数的梯度大小，除了取决于"预测得准不准"，还取决于"这道题本身的回报有多不稳定"。当评论家学得越来越准的时候，预测误差项在缩小，但回报的波动噪声这一项是恒定的，不会随着学习变小。这意味着，随着训练进行，那些波动大的题目会越来越"喧宾夺主"，主导了评论家每一轮更新的方向，而那些稳定的题目反而话语权越来越小。

这就像一个班级里，老师批改作业时本该按学生的正常表现给建议，但班里有几个学生的分数特别不稳定，今天考满分明天考零分。如果老师把精力主要放在这几个"大起大落"的学生身上，而忽略了大多数表现稳定的学生，那老师给出的整体教学调整建议就会被这几个极端案例绑架，偏离了真正该关注的方向。如果不做任何调整，这种偏离会随着训练深入越来越严重，因为稳定学生带来的"信息增量"越来越少，而不稳定学生的"噪声"始终存在。

EasyPPO怎么解决这两个问题

论文提出的方案叫EasyPPO，核心思路是三个改动，每一个都对应前面提到的一个具体病灶。

第一招，叫演员单独过滤（actor-only overlong filtering）。

简单说就是，截断的回答依然从演员的更新里剔除，但保留给评论家训练用。研究者用数学推导证明了这一点的合理性：如果评论家依然学习全体回答（包括截断的），那么在理想情况下，评论家的预测值里会自然包含一个"完成概率"的修正项，这个修正项在数学上会鼓励演员少产出截断的回答，因为完整回答通常价值更高。换句话说，评论家保留全部信息，反而能给演员传递一个"别拖延"的隐性信号。

这就好比公司考核一个业务员的时候，业务员自己的绩效只按成交的订单算（演员过滤），但公司整体的市场行情分析（评论家）依然要参考所有跟进过的客户，包括那些还没成交的。这样公司才能判断这个业务员是不是在故意拖着不签单来规避考核，而不是被业务员的局部数据误导。论文的实验也验证了这个设计的效果：在FrontierCS任务上，只过滤演员的方案比同时过滤两者，截断率和整体奖励表现都更好。不过研究者也坦诚，光做这一步还不够彻底，训练中依然能看到间歇性的波动和短暂的分数下滑。

第二招，叫噪声归一化的评论家回归（noise-normalized critic regression）。

这一招直接针对第二个问题。具体做法是，给每个问题的评论家损失乘上一个权重，这个权重和该问题回报的标准差成反比。通俗说，波动越大的题目，权重就越低；越稳定的题目，权重相对越高。这样一来，原本梯度大小里那个"和噪声成正比"的项就被抵消了，留下的主要是"预测准不准"这个更有意义的信号。

这个设计的直觉可以类比成一场辩论赛的评分机制。如果有个选手每次发言内容忽左忽右，情绪起伏很大，评委如果不加区分地采纳所有选手意见的平均值，这个情绪化选手的声音会不成比例地左右最终评分。合理的做法是给发言更稳定、更可信的选手更高权重，把情绪化选手的声音适当收窄，这样评委团的整体判断才不会被个别极端案例带偏。论文用离线诊断实验验证了这个效果：在FrontierCS和AIME两个任务上，归一化之前，波动大的题目对应的梯度范数明显偏大，且这个趋势随训练推进越来越明显；归一化之后，这种依赖关系被显著削弱。

第三招，是调整评论家的小批量（mini-batch）大小，配合梯度裁剪使用。

梯度裁剪*：一种防止梯度爆炸的技术，当梯度的范数超过某个阈值时，强行把它缩小到阈值以内，避免某次异常的更新把模型参数带偏太多。

研究者发现一个有意思的权衡：小批量越大，越能把噪声平均掉，但一旦批量里混入极端值（outlier），梯度裁剪会把整个批量的更新方向一起压缩，等于让这个极端值绑架了同批次里所有正常样本的更新。而小批量越小，虽然平均噪声的能力变弱，但极端值造成的影响被限制在更少的样本范围内，不会波及太多"无辜"的数据。论文用理论分析证明，在样本总数固定的情况下，单个异常值对最终梯度的影响大小是随小批量尺寸线性增长的，而每个小批量自身的随机噪声则是随尺寸增大而减小的。基于这个权衡，论文最终选择了4个小批量作为默认设置，作为在"降噪"和"限损"之间的折中点。

这有点像疫情防控里的分区隔离思路。如果把一整座城市当成一个单元来管理，一旦某个区域出现问题，为了控制风险，可能需要对整座城市采取严格管制，代价巨大。但如果把城市划分成若干个相对独立的片区，某个片区出问题时，只需要针对这个片区采取措施，其他片区照常运转。分得太细也有代价，每个片区因为规模小，本身的数据统计会更不稳定，容易出现误判。所以分区大小需要找一个平衡点，既能控制风险扩散范围，又不至于因为片区太小而频繁误判。

三个改动加在一起，就是EasyPPO的完整配方。论文强调，这三招不是孤立的，而是针对同一个根本矛盾的三个不同侧面下手：评论家在异质、不完整的回报数据面前如何保持稳定。

实验结果说了什么

论文在三个差异很大的任务上做了验证：FrontierCS（连续分数的编程任务）、AIME24（二值奖励的数学推理）、Search-R1（多轮搜索任务）。基座模型用的是Qwen3.5-9B系列。对比的基线方法包括标准PPO、只做演员过滤的PPO、HL-Gauss PPO（一种用分类方式预测价值的变体）、以及VAPO（一种在价值学习和优势估计上做过改进的方法）。

结果相当直接。下面这张表是各方法在三个任务上取得的最佳验证分数（0到100分制）：

| 方法 | FrontierCS | AIME24 | Search-R1 |

|---|---|---|---|

| PPO | 12.90 | 64.06 | 39.48 |

| PPO + 演员过滤 | 13.91 | 60.73 | 41.74 |

| HL-Gauss PPO | 10.43 | 63.13 | 42.33 |

| VAPO | 5.58 | 54.90 | 40.36 |

| **EasyPPO** | **14.82** | **65.52** | **43.22** |

EasyPPO在三个任务上都拿到了最高分，相比PPO分别提升了14.89%、2.28%和9.47%。更关键的是"稳定性"这个维度上的表现：论文里所有其他基线方法，无一例外地在至少一个任务上出现了训练崩溃，也就是分数在训练过程中曾经不错，但后来突然大幅跌落甚至跌到零。而EasyPPO在全部三个任务、全部评估的训练时长里，没有出现过一次崩溃。

在Search-R1这个多轮搜索任务上，论文还展示了七个子数据集（NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle）各自的验证曲线。结果一致：PPO、VAPO、以及只做演员过滤的PPO版本，在训练到100到150步左右时几乎全部跌到接近零分，HL-Gauss PPO也出现了明显下滑，特别是在MuSiQue和Bamboogle上。EasyPPO在全部七个数据集上都维持了最高的最终分数。

论文还专门做了随机种子敏感性测试。在FrontierCS任务上，用三个不同的评论家初始化各跑了三次EasyPPO和"演员过滤PPO"（当时表现最好的基线）。结果是三次EasyPPO跑下来一次都没崩，而三次演员过滤PPO里有两次崩了。这说明EasyPPO的稳定性不是运气好碰上的，而是相对可靠的性质。

在消融实验部分，论文单独测试了噪声归一化这一招在不同小批量配置下的效果。发现如果不做噪声归一化，把批量拆成4个小批量反而会让原本"可恢复的下滑"变成"持续性崩溃"。加上归一化之后，无论用1个大批量还是4个小批量，训练都能稳住。这也印证了前面提到的权衡关系：小批量本身平均噪声的能力弱，如果再叠加一个"波动题目权重过高"的问题，两个负面因素会互相放大。

论文还用"解释方差"（explained variance，衡量评论家预测值和真实回报吻合程度的指标）作为诊断工具，观察到EasyPPO训练过程中评论家的梯度范数在warmup之后持续走低，解释方差稳步上升，波动很小；而对比的基线方法在解释方差曲线上出现剧烈的上下摆动，HL-Gauss甚至是在演员已经崩溃之后，解释方差才勉强接近1，这个"事后诸葛亮"式的指标改善对训练本身已经没有意义了。

写在后面

读完这篇论文，我最触动的一点是它对"评论家"这个角色的重新定位。在很多关于大模型强化学习的讨论里，大家的注意力天然会集中在策略网络（也就是生成答案的那部分）上，因为那才是最终产出结果的地方。评论家常常被当成一个辅助工具，好像它准不准无所谓，反正是间接的。但这篇论文用扎实的数学推导和实验数据说明，评论家一旦学歪了，会把错误的信号系统性地传导给策略网络，而且这种传导路径往往很隐蔽，不是那种一眼就能看出来的bug。

另一个让我停下来想了一会儿的地方是"过滤截断样本"这个操作本身。它在GRPO这类不需要评论家的方法里效果很好，是个被广泛验证过的技巧。但把它原封不动搬到PPO里，却因为PPO多了一个评论家网络，产生了完全不同的副作用。这提醒我一件事：一个技巧在某个算法框架里管用，不代表换个框架依然管用，框架内部组件之间的耦合关系往往比表面看起来复杂得多。这种"局部最优实践在整体系统里失效"的现象，其实在很多复杂系统的工程实践里都出现过，不只是强化学习。

论文里还有一个细节我觉得值得单独说一句：研究者提到，噪声归一化用的方差估计，是从同一批采样数据里直接算出来的，这本身会带来一定的偏差，因为用来估计权重的数据和用来训练的数据是同一批。研究者自己也承认这一点，说更精细的做法可能需要离线画像加在线更新的组合方案，但他们留给了未来的工作。这种坦诚地指出自己方法局限性的态度，在论文里不算罕见，但依然值得肯定。

评论家稳不稳，决定了整个强化学习训练的地基牢不牢。这个道理讲出来简单，但把它变成三个可操作、可验证、能在多个任务上稳定复现效果的具体改动，才是这篇论文真正的价值所在。

Q&A

Q1：EasyPPO主要解决了什么问题？

A：EasyPPO解决的是PPO算法训练大语言模型时评论家网络不稳定导致的训练崩溃问题，具体是过滤截断回答带来的目标偏移，以及不同题目回报噪声差异过大导致的梯度失衡。

Q2：EasyPPO和普通PPO相比效果提升多少？

A：在最佳验证分数上，EasyPPO相比标准PPO在FrontierCS编程任务上提升14.89%，AIME24数学任务上提升2.28%，Search-R1搜索任务上提升9.47%，并且是唯一在三个任务上都没出现训练崩溃的方法。

Q3：EasyPPO具体做了哪三个改动？

A：一是只在演员更新时过滤截断回答，评论家保留全部数据训练；二是给每个问题的评论家损失按回报标准差的倒数加权，平衡不同题目的噪声影响；三是采用适中大小的评论家小批量配合梯度裁剪，限制异常值的影响范围。