大模型强化学习的优化器，为什么一直在"将就"？

2024年底到2025年初，强化学习训练大模型变成了一件主流的事情。DeepSeek-R1这样的推理模型，靠的就是用"可验证奖励"去训练模型，让它学会做数学题、写对代码。但有一件事很少有人关心：这些模型训练用的优化器，几乎原封不动地照搬了之前监督训练时代的那一套。

AdamW，这个几乎是所有大模型训练的默认选择，从预训练到微调再到强化学习，一路用到底，没人问过一句：强化学习阶段的梯度，真的和之前一样吗？

这篇来自中国人民大学高瓴人工智能学院的论文，就是在问这个问题。而且他们发现，答案是否定的。强化学习训练出来的梯度，和监督训练完全不是一回事。

**核心问题：一个被忽略的假设**

先说清楚什么是"可验证奖励强化学习"。

RLVR（强化学习与可验证奖励）：一种训练方式，模型生成回答后，用规则化的验证器（比如检查数学答案对不对）给出奖励分数，再用这个奖励信号去调整模型参数。

这和之前的监督微调完全不同。监督微调时，模型看到的是标准答案，照着学就行，信号很稳定，方向很明确。但RLVR不一样，模型自己生成一堆回答，答对的提高概率，答错的降低概率，这个信号来自模型自己当前的采样分布，会随着训练不断变化。

研究者的直觉是：既然训练信号的来源方式变了，梯度的"形状"会不会也跟着变？

他们用了一个工具去观察这件事，叫奇异值分解。

奇异值分解（SVD）：一种矩阵分析方法，可以把一个复杂的矩阵拆解成若干个"方向"和每个方向上的"强度"（奇异值），强度越大说明这个方向承载的信息越多。

想象你在整理一个巨大的衣橱，衣服堆得乱七八糟。SVD做的事情，就是把这堆衣服按照"重要程度"重新排列，告诉你前几件衣服已经占了衣橱大部分体积，剩下的都是零零碎碎的小东西。

研究者把这套方法用在大模型训练时的梯度矩阵上，结果发现了一件很有意思的事。

**梯度能量在往哪跑**

论文里有一张图（图2），画的是Qwen3-1.7B模型在训练过程中，梯度矩阵"前32个方向"所占的能量比例。

结果是，随着训练推进，这个比例从大约8%一路涨到接近18%，涨了超过一倍。换句话说，原本分散在成百上千个方向上的梯度信号，越来越多地集中到了少数几个关键方向里。

这事听起来可能有点抽象，换个说法：假设你有一千个员工在做一件事，一开始大家各自为战，贡献差不多；但随着项目推进，你发现其实只有二三十个人在真正推动项目往前走，剩下的九百多人基本在打酱油。这就是梯度能量集中的意思，强化学习训练到后期，真正"有用"的更新方向越来越少。

但研究者没有止步于此。他们做了两个对照实验，想确认这个现象是不是RLVR独有的。

第一个对照是监督微调（SFT）。结果显示，SFT过程中梯度能量根本没有这种集中趋势，反而略微变得更分散。

第二个对照更狠：保留RLVR的全部训练流程，包括采样、配置，唯独把"可验证奖励"换成随机奖励。结果，能量集中的现象基本消失了。

这说明一件事：梯度能量集中不是因为"在线采样"这个机制本身，而是因为奖励信号本身是有意义的、可验证的。如果奖励是瞎给的，模型的梯度就不会往某个方向聚拢。这是一个挺关键的排除法实验，证明了这个现象和RLVR的本质机制绑定在一起，而不是什么训练流程上的副作用。

**有效秩的下降：不只是能量集中，而是"有用维度"在缩水**

能量集中只是第一层发现。研究者接着问了一个更尖锐的问题：如果我想用一个固定的小秩去覆盖大部分梯度能量，这个秩需要多大，会不会也随着训练变化？

有效秩：指的不是矩阵本身的代数秩（对一个稠密矩阵来说几乎总是满秩），而是"覆盖固定比例能量所需要的最少方向数"，这个数字描述的是梯度信号实际有用的维度有多少。

论文里的图1画了三条曲线，分别对应覆盖90%、70%、50%能量所需要的秩。三条曲线的走势出奇一致：训练刚开始时有个短暂的上升，随后就开始持续下降，一路走低直到训练结束。

这意味着什么？意味着强化学习训练到后期，模型真正需要调整的"有效方向"越来越少。不是梯度矩阵变小了，而是真正承载有用信息的子空间，在不断收缩。

这件事对优化器设计来说，分量很重。因为它说明了一个此前没人认真对待的事实：RLVR训练中，"秩"不是一个你可以随便设定的超参数，而是一个会随着训练动态演化的量。

**现有方法为什么不够**

这里要先说说已有的低秩优化方法是怎么做的。

GaLore：一种内存高效的训练方法，把梯度投影到一个固定秩的低维子空间上，从而减少优化器需要维护的状态量，原本是为了节省显存设计的。

Muon：一种对动量进行正交化处理的优化器，它会调整更新的"方向"，但不会限制更新所占的维度数量。

这些方法有个共同的问题：秩要么是写死的常数，要么按照一个预先设计好的时间表变化，都不是从梯度本身"读"出来的。

这就好比你开一家餐厅，提前按照固定的菜单备菜，不管今天来的客人想吃什么。如果秩设得太小，模型需要的一些重要方向会被直接砍掉，等于强行让厨房少做几道菜，客人想吃也吃不到；如果秩设得太大，又会浪费大量计算资源去处理那些几乎没有信息量的"边角料"方向，相当于备了一堆没人点的菜，白白占着冰箱位置还耗电。固定的菜单解决不了客流随时间变化的问题,这正是GaLore在4B规模上反而比AdamW还差（32.8对35.8）的原因，节流本身没有方向感。

那怎么办？答案自然而然地浮现了：既然秩本身是动态变化的，那为什么不让优化器自己去"读"这个秩，而不是人为规定？

**Ares：让优化器自己感知梯度的形状**

论文提出的方法叫Ares（Adaptive Rank-Effective Spectral Optimization，自适应秩-有效谱优化）。核心思路很直接：在每一步训练中，去测量当前梯度的"谱结构"（也就是能量在各个方向上的分布），然后根据这个结构动态决定这一步应该保留多少个方向进行更新。

整个流程分三步。

第一步是高效的梯度分解。直接做完整的SVD开销太大，是矩阵较小维度的平方级复杂度。论文用了一种叫随机分块幂迭代的近似算法。

随机分块幂迭代（RBPI）：一种近似提取矩阵主要奇异子空间的算法，通过随机投影加反复的矩阵乘法，快速锁定能量最集中的那几个方向，而不需要计算完整的谱。

这就像你想知道一个水库里哪几条河流贡献了大部分的水量，你不需要把每一条小溪都测量一遍，只需要找到那几条主河道，反复确认它们确实是主力，就足够了。论文里分析过，这套算法的时间复杂度是目标秩和矩阵维度线性相关，而完整SVD是维度的平方相关，当目标秩远小于矩阵维度时，优势非常明显。

第二步是基于谱能量的有效秩估计。拿到奇异值之后，论文用信息熵的方式把能量分布转换成一个"有效秩"的数值。

香农熵：一个衡量分布"均匀程度"的量，如果能量均匀分布在很多方向上，熵就大；如果能量集中在少数几个方向，熵就小。这里用它来把连续的能量分布转化成一个直观的"有效秩"数字。

熵越小，说明能量越集中，有效秩就越小；反过来熵大说明能量分散，有效秩就接近预设的上限。这一步相当于把"能量分布"这个比较抽象的东西，翻译成了一个具体的数字，告诉优化器"现在该保留几个方向"。

但这个数字是每一步单独算出来的，会受到采样噪声的干扰，直接用会导致秩忽大忽小，训练不稳定。所以第三步，论文引入了指数滑动平均去平滑这个估计值，让秩的变化保持连续、不剧烈。

这个平滑步骤其实很重要，原论文的消融实验显示，去掉动量平滑后准确率从27.2掉到24.1。可以理解成，如果你是个管理者，每天根据团队当天的临时表现就决定裁员或加人，团队肯定会乱套，而把评估周期拉长、做滑动平均，才能看清真正的趋势。

确定了秩之后，剩下的事情就是把梯度截断到这个秩对应的子空间里，再用类似AdamW的方式去更新参数。一维的参数（比如偏置项）没有谱结构可言，直接走标准AdamW就行。

**实验结果：三个规模，全面领先**

论文在Qwen3的1.7B、4B、8B三个规模上做了实验，训练数据是DAPO数据集（一堆竞赛级别的数学题），评测覆盖了AIME24、AIME25、AIME26、AMC23、MATH500、Minerva Math、OlympiadBench七个基准。

结果很清楚：Ares在三个规模上都拿到了最高的平均准确率，分别是27.2、38.5、42.1，比AdamW分别高出5.0、2.7、2.3个百分点。

对比一下其他几个方法的表现就更能看出问题。SGD和RMSprop几乎训练失败，准确率在个位数甚至零点几；Muon在强化学习场景下的表现也很差，只有个位数的准确率；GaLore虽然比上面几个好一些，但整体和AdamW持平，在4B规模上甚至更差。

这说明一件事：不是随便套一个"低秩"的帽子就能提升效果，秩从哪里来、怎么跟着训练动态调整，才是真正决定性能的因素。

**消融实验：每个零件都在出力**

论文做了细致的消融实验，把Ares拆成几个部分，一个一个去掉看效果。

去掉低秩更新这个核心机制，准确率直接崩到2.7，比任何baseline都差得多。这说明低秩约束不是锦上添花，而是整个方法的地基，其他组件都是建立在这个地基之上才有意义的。

去掉动态秩估计，单独看影响不算特别大（26.6），但去掉动量平滑之后下降更明显（24.1）。论文认为这两者其实是一体的：秩的估计本身带噪声，动量平滑负责把这个噪声压下去，两者配合才能发挥作用，单独拆开各自的贡献都会被削弱。

这就好比一辆车的方向盘（动态秩）和减震系统（动量平滑）得配合着用。方向盘指示该往哪个方向转，但如果路面颠簸（噪声）没有减震系统去缓冲，司机会被晃得完全没法精确操控方向。单独换一个好方向盘没用，得两者一起上。

**计算开销和跨任务泛化**

有人可能会问，这套谱分解的计算，是不是会让训练变慢很多？

论文测了每一步参数更新所花的时间，结果显示Ares的开销和标准优化器相当接近，远低于一个真正做完整SVD的方法。这得益于RBPI这个近似算法，只提取需要的那几个主要方向，而不是算出完整的谱。

另外一个值得关注的点是，Ares虽然只在数学数据上训练，但在MMLU-Pro（覆盖工程、哲学、计算机科学、物理、经济学等十四个领域）和GPQA这些跟数学完全不沾边的测试集上，依然全面超过AdamW和GaLore，尤其是在哲学、法律、商业这类人文社科方向上，优势依然存在。这说明梯度的低秩谱结构，是RLVR训练本身带来的普遍现象，不是数学题这个特定任务造成的巧合。

论文还把Ares套在了RLOO、REINFORCE++、GDPO三种不同的强化学习算法上，结果都有稳定的提升，最高提升5.1个百分点。这进一步证明了梯度能量集中这件事，根源在于"可验证奖励"这个机制本身，而不是某个具体的优势函数估计方式。

还有一个对照实验很说明问题：把Ares用在监督微调（SFT）上，结果和AdamW几乎没有差别。这恰好印证了论文的核心论点，Ares的优势不是来自低秩机制本身有什么魔力，而是因为它精准匹配了RLVR独有的梯度几何形状。放到SFT里，因为梯度本身没那么集中，Ares也就退化成了一个普通的自适应优化器，没有额外收益。

Q&A

Q1：Ares优化器是什么？

A：Ares（自适应秩-有效谱优化）是一种为强化学习训练大模型设计的新优化器，它能根据梯度的谱能量分布动态估计并追踪有效更新秩，把梯度信号限制在这个动态变化的低秩子空间里再进行参数更新，而不是像以往方法那样固定一个秩或按预设时间表调整。

Q2：为什么强化学习训练的梯度会出现能量集中现象？

A：论文通过对照实验发现，这个现象和可验证奖励信号本身绑定，监督微调没有这种趋势，把奖励换成随机奖励后现象也基本消失，说明这是由奖励驱动的策略优化过程本身带来的，而不是在线采样这个训练流程造成的副作用。

Q3：Ares和GaLore这类低秩优化方法有什么区别？

A：GaLore等方法把更新限制在一个外部固定或按预设时间表变化的低秩子空间里，秩的选择不依赖梯度本身；Ares则是实时从梯度的谱能量分布里推算出当前最合适的秩，并用动量平滑追踪它的演化，秩是跟着训练动态变化的，而不是写死的参数。