大模型学习推理的熵机制：理解为何大模型在强化学习中容易陷入熵崩塌

**《强化学习中的熵机制：理解大语言模型推理能力的关键》**

这项研究由上海人工智能实验室、清华大学、伊利诺伊大学香槟分校、北京大学、南京大学和香港中文大学的研究团队共同完成，主要作者包括崔干渠、张宇辰、陈佳成等多位学者。论文发表于2025年5月28日的arXiv预印本平台，论文代码已在GitHub上开源：https://github.com/PRIME-RL/Entropy-Mechanism-of-RL

想象一下你正在教一个孩子如何骑自行车。刚开始时，孩子会尝试各种方式保持平衡——左倾、右倾、加速、减速。这种"探索"多种可能性的行为至关重要。但随着技能提升，孩子会逐渐形成固定的骑行方式，减少"尝试新动作"的概率。在强化学习的世界里，我们称这种尝试新动作的倾向为"策略熵"。

在大语言模型（简称LLM）的强化学习过程中，研究者们发现了一个有趣又棘手的现象：模型的策略熵会迅速下降至接近零的水平，导致模型变得"过度自信"，不再愿意探索新的解决方案。这就像那个学会骑车的孩子，一旦掌握了某种骑行方式，就完全拒绝尝试任何新技巧，哪怕新技巧可能更好。

这项研究的关键发现是，在没有熵干预的情况下，模型性能和策略熵之间存在着一个可预测的数学关系：R = -a·exp(H) + b，其中R是模型性能，H是策略熵，a和b是拟合系数。简单来说，模型是在"用熵换取性能"，但这种交易存在天花板，一旦熵耗尽，性能也就无法提升了。

研究团队不仅揭示了这一规律，还深入探究了熵变化的内在机制，并设计了两种简单有效的方法（Clip-Cov和KL-Cov）来缓解熵崩塌问题，帮助模型保持探索能力，从而达到更好的性能。这对于未来大模型强化学习的规模化应用具有重要意义。

一、熵崩塌：大语言模型强化学习中的瓶颈现象

当我们谈论大语言模型（如ChatGPT或Qwen等）的后训练阶段时，强化学习已成为提升模型能力特别是推理能力的重要方法。然而，研究团队在大量实验中发现，强化学习过程中会出现一个普遍现象：模型的策略熵会迅速崩塌（快速下降至接近零），而这与模型性能的饱和息息相关。

策略熵，简单来说就是模型选择不同行动的不确定性。想象一下你在一个陌生城市找餐厅，一开始你会考虑多种选择（高熵状态），但随着你获得更多信息，你会逐渐缩小范围直到做出最终决定（低熵状态）。在强化学习中，适当的策略熵对于模型持续探索新路径至关重要。

研究团队通过大量实验发现，在没有专门控制熵的情况下，模型的策略熵会在训练早期（通常是前200步，约占总训练步数的1/12）就下降了73%，与此同时模型性能提升了76%。到前800步（约占总训练的1/3），熵消耗达到94%，性能提升达到93%。这意味着剩下2/3的训练步骤只带来了约7%的性能提升，效率极低。

更令人惊讶的是，研究者发现验证性能（R）和策略熵（H）之间存在一个精确的数学关系：R = -a·exp(H) + b。这个简单的指数函数几乎完美地描述了所有实验结果，无论是对不同大小的模型（从0.5B到32B参数）、不同模型家族（Qwen2.5、Mistral、LLaMA）还是不同任务（数学和编程）。

这个公式的含义深远： 1. 它表明模型性能是通过"交易"熵获得的，类似于一种"资源消耗"过程 2. 模型性能存在理论上限（当H=0时，R=-a+b），且这个上限可以预测 3. 如果不打破这种"熵瓶颈"，仅仅增加更多计算资源对强化学习的回报将非常有限

这个发现类似于机器学习中的"缩放法则"（Scaling Laws），让我们能在训练早期就预测模型的最终性能。例如，研究者们仅使用前36步（约15%）的训练数据就能准确预测Qwen2.5系列模型在数学和编程任务上的最终性能，平均误差仅为0.9%和1.2%。

二、深入探究熵动态变化的机制

为了解决熵崩塌问题，研究团队首先需要理解策略熵变化的内在机制。就像医生需要了解疾病的病理机制才能开出有效处方一样，研究者需要掌握熵变化的数学原理才能设计有效的干预方法。

研究者从理论和实验两个角度分析了熵的动态变化。对于像大语言模型这样的softmax策略，他们证明了连续两步之间的熵变化主要由动作概率（log-probability）和对应logit变化之间的协方差决定。这个协方差项在策略梯度（Policy Gradient）和自然策略梯度（Natural Policy Gradient）等算法中，与动作优势（advantage）成正比。

用日常语言解释，这意味着：当模型认为某个动作既有高概率又有高回报（高优势）时，它会更加确信这个动作是正确的，因此降低策略熵；相反，如果一个罕见动作获得了高回报，模型会增加这个动作的概率，反而提高了策略熵。

研究团队通过实验验证了这一理论结论。他们观察到，在训练早期，模型在训练数据上表现出高协方差，说明模型的置信度和实际表现是匹配的，这让模型能够"安全地"强化那些高置信度的决策，进一步降低熵。随着训练进行，协方差逐渐下降但仍保持为正，继续拉低策略熵。

通过分析不同难度的训练样本，研究者还发现，对于简单问题（模型回答正确率高的问题），协方差较大；而对于困难问题，协方差较小。这符合直觉：当模型擅长解决某类问题时，它对自己的判断更有信心，而面对困难问题时则更加谨慎。

这些发现为研究团队提供了重要启示：控制熵的关键在于限制那些协方差高的token的更新步长。就像教练有时会故意让运动员尝试不同的技术动作而不仅仅强化已掌握的动作一样，我们需要设计算法让模型保持一定程度的探索能力。

三、传统熵控制方法的局限性

在解决熵崩塌问题之前，研究团队首先尝试了传统强化学习中常用的熵控制方法，看它们是否适用于大语言模型。

在传统强化学习中，研究者通常会在损失函数中添加熵正则化项（entropy regularization）或KL惩罚项（KL penalty）来控制策略熵。熵正则化通过奖励高熵（即多样化的行为）来鼓励模型探索，而KL惩罚则通过限制策略与参考策略的偏离程度来防止过度更新。

然而，研究者发现这些方法在大语言模型上表现不佳。添加熵损失项（Lent = L - α·H(πθ)）时，调节系数α非常敏感：较小的系数（如0.0001或0.001）几乎没有影响，而较大的系数（如0.01）则会导致熵爆炸，模型变得过度随机。虽然设置α=0.005能够稳定熵值，但并没有带来性能提升。

同样，添加KL惩罚项也面临类似问题。虽然可以稳定熵值，但往往会降低模型性能而非提升。这表明，简单套用传统强化学习中的熵控制方法并不适合大语言模型。

这些实验结果解释了为何最近的许多大语言模型强化学习研究并没有包含熵正则化或KL惩罚项。传统方法要么对超参数过度敏感，要么会损害模型性能，这促使研究团队开发更适合大语言模型特点的熵控制方法。

四、基于协方差的熵控制方法：Clip-Cov和KL-Cov

既然传统方法行不通，研究团队基于前述熵动态分析提出了两种新的熵控制方法：Clip-Cov和KL-Cov。这两种方法都着眼于控制高协方差token的更新，以维持适当的策略熵。

首先，研究团队发现，在训练过程中，只有极小部分token（约0.02%）具有极高的协方差（平均值5.654），远超平均水平（0.003）。这些"异常值"对熵崩塌起着决定性作用。控制这些token的更新，就可能有效缓解熵崩塌问题。

Clip-Cov方法的核心思想是，随机选择一小部分具有高协方差的token，并切断它们的梯度。具体来说，研究者计算每个token的协方差，然后随机选择r·N个协方差在预设范围[ωlow, ωhigh]内的token（r为裁剪比例，N为总token数），将这些token从策略梯度更新中排除。这就像是告诉模型："不要过度确信这些看似很确定的判断，保留一些不确定性。"

KL-Cov方法则采取不同策略，它识别协方差最高的一部分token（比例为k），并对这些token应用KL惩罚。这相当于告诉模型："你可以更新这些判断，但不要偏离太远。"KL惩罚的系数β控制惩罚的强度。

实验表明，这两种方法都能有效控制策略熵，并带来实质性的性能提升。以Qwen2.5-7B模型为例，与基线GRPO算法相比，Clip-Cov和KL-Cov在数学推理任务上分别提高了1.8%和2.0%的平均性能；对于Qwen2.5-32B模型，提升更加显著，分别达到4.5%和6.4%。

特别值得注意的是，这些方法在更具挑战性的任务上表现更好。例如，在AIME24和AIME25等困难数学题上，KL-Cov使Qwen2.5-32B模型的性能分别提高了15.0%和14.6%。这表明，当我们解除熵崩塌带来的"探索诅咒"后，大模型能够更充分地发挥其潜力。

研究者还发现，通过调整KL-Cov中的KL系数β或Clip-Cov中的裁剪比例r，可以精确控制策略熵的水平。这为未来的研究提供了一个重要工具，让研究者能够探索不同熵水平对模型性能的影响。

这两种方法实现起来非常简单，只需在现有强化学习算法的基础上添加几行代码。然而，它们对模型性能的影响却相当显著，这体现了"小改动，大影响"的原则。

五、研究启示与未来展望

这项研究为我们理解和改进大语言模型的强化学习过程提供了重要启示。首先，策略熵的崩塌不仅是一个普遍现象，而且会限制模型性能的提升。研究揭示的R = -a·exp(H) + b关系表明，模型性能和策略熵之间存在可预测的"交易"，而熵耗尽后性能也就达到了天花板。

第二，研究揭示了熵变化的内在机制，即高协方差token主导了熵的下降。这一发现让我们能够设计更有针对性的干预方法，而不是盲目应用传统的熵正则化。

第三，基于协方差的熵控制方法（Clip-Cov和KL-Cov）证明了通过适当的熵管理，可以显著提升模型性能，特别是在困难任务上。这表明，保持适当的探索能力对于模型充分发挥潜力至关重要。

这项研究也引发了一些有趣的思考。例如，最佳的策略熵水平可能因任务而异，研究者发现熵和性能之间并没有简单的线性关系。此外，模型对超参数设置非常敏感，即使只干预极小比例的token（10^-4到10^-3），也能完全改变熵曲线，这表明有几个"关键"token对LLM的熵至关重要。

未来研究可以沿着几个方向进一步探索： 1. 探究不同任务和模型架构下的最佳熵水平 2. 开发更智能的自适应熵管理方法，根据任务难度和训练阶段动态调整 3. 研究策略熵与模型可解释性、鲁棒性之间的关系

正如论文结尾引用物理学家普朗克的名言："自然界不会进行任何变化，除非其利益是通过熵的增加而得到服务。"在大语言模型的强化学习领域，适当的熵管理可能是打破性能天花板、实现持续进步的关键。