大模型训练的"调味料"革命：这种简单方法让AI学习速度提升10倍

这项由深圳大学、腾讯、香港科技大学(广州)等机构联合开展的研究发表于2025年6月的机器学习国际会议(ICML)，论文题为"ReDit: Reward Dithering for Improved LLM Policy Optimization"。有兴趣深入了解的读者可以通过arXiv:2506.18631v1访问完整论文。

当我们烹饪一道菜时，调料的作用至关重要。太少了味道寡淡，太多了又会掩盖食材本味。在人工智能大模型的训练过程中，也存在着类似的"调味"问题。研究团队发现了一个有趣现象：那些看似"完美"的奖励系统，实际上可能成为AI学习路上的绊脚石。

想象你在教一个孩子学习数学。传统的做法是：做对了给1分，做错了给0分。这看起来很公平很准确，但问题在于——这种"非黑即白"的评分方式会让学习过程变得异常艰难。孩子要么兴奋地获得满分，要么沮丧地得到零分，很少有中间状态。这就像在玩一个只有"大成功"和"大失败"的游戏，缺乏渐进式的引导。

研究团队观察到，目前最先进的AI模型训练方法，比如DeepSeek-R1采用的GRPO(组相对策略优化)算法，虽然使用了"完美"的规则奖励系统，但却经常陷入学习困境。这些系统在训练过程中会出现两种极端情况：要么梯度消失（学习停滞），要么梯度爆炸（学习混乱）。这就像一辆汽车要么熄火要么失控，很难平稳行驶。

为了解决这个问题，研究团队提出了一种名为ReDit(奖励抖动)的巧妙方法。这个方法的核心思想非常简单：在原本精确的奖励信号中加入一点点随机"噪音"。听起来可能有些反直觉——为什么要故意在准确的信号中添加"错误"呢？

其实这个原理类似于我们日常生活中的很多现象。比如在学习外语时，如果老师总是用标准普通话纠正你的发音，你可能学会得很慢；但如果老师偶尔用稍微不同的语调或语速说同一个词，你反而能更快掌握这个词的各种变化。这种"不完美"的输入实际上增加了学习的多样性，让大脑能够更好地理解和掌握知识的本质。

ReDit方法的工作机制可以用调试收音机来类比。当你调台时，如果信号过于清晰单一，有时反而容易错过目标频道；但如果信号中带有一点点背景噪音，你的耳朵反而能更敏锐地捕捉到目标声音的特征。同样地，在AI训练中添加适量的奖励噪音，能够让模型更好地理解什么是真正重要的学习方向。

**一、传统训练方法的困境**

要理解ReDit的价值，我们首先需要了解传统训练方法面临的挑战。研究团队通过大量实验发现，使用离散奖励信号（比如正确得1分，错误得0分）的训练过程就像是在走钢丝绳——看似精确，但实际上充满风险。

在GSM8K数学问题数据集上的实验显示，传统GRPO方法在训练过程中会频繁出现梯度异常。梯度可以理解为AI学习的"方向感"——告诉模型下一步应该往哪个方向调整。当梯度消失时，就像指南针失灵，AI不知道该往哪里走；当梯度爆炸时，就像指南针疯狂转动，AI会迷失方向。

这种现象在数学训练中特别明显。当AI尝试解决数学问题时，在训练早期，它很难生成完全正确的答案，因此大多数训练样本都得到0分。这就像一个初学者在学习钢琴，如果只有"演奏完美"才能得分，那么在相当长的时间里，这个学习者都会处于"零奖励"状态，学习动力自然会减弱。

更糟糕的是，当AI偶尔答对一道题时，突然从0分跳到1分的巨大奖励差异会造成"学习震荡"。这就像一个人突然中了彩票，兴奋过度反而影响了正常的工作和生活节奏。在神经网络中，这种奖励的剧烈变化会导致参数更新过于激烈，破坏之前学到的有用知识。

研究团队通过可视化分析发现，这种训练不稳定性直接反映在模型的性能表现上。在MATH数据集的测试中，传统方法的准确率会在训练过程中上下波动，有时甚至出现"越训练越差"的情况。这种现象在达到49.46%的峰值准确率后，性能又下降到47%左右，就像爬山时好不容易登上一个高峰，却又滑落下来。

**二、ReDit方法的设计原理**

面对这些挑战，研究团队从一个全新角度思考问题：与其追求完美的奖励信号，不如让奖励信号变得更加"人性化"和"渐进式"。这就是ReDit方法的核心理念。

ReDit的实现方式简单得令人惊讶。研究团队在每个原始奖励值上添加一个随机数。这个随机数是零均值的，意味着从长期看，添加的正数和负数会相互抵消，不会改变奖励的总体期望值。这就像在菜品中加入适量的胡椒粉——既不会改变菜的基本味道，却能增加口感的层次。

具体来说，如果原始奖励是1分（表示答案正确），ReDit可能会将其随机调整为0.95分或1.05分；如果原始奖励是0分（表示答案错误），可能会调整为-0.03分或0.02分。这种微小的随机变化看似不起眼，却能产生显著的训练改善效果。

这种方法的理论基础源于奖励方差与学习效率的关系。研究团队基于最新的理论研究发现，适当增加奖励方差可以显著提高策略优化的收敛速度。这就像学习游泳时，在平静的泳池里可能学得很慢，但在有轻微波浪的水中，学习者反而能更快掌握平衡和游泳技巧。

ReDit支持两种不同的噪音分布：高斯分布（正态分布）和均匀分布。高斯分布就像自然界中常见的随机现象，大部分噪音接近零，偶尔会有较大的偏差；均匀分布则像掷骰子，在指定范围内每个值出现的概率相等。实验表明，高斯分布通常能带来更稳定的训练效果。

**三、实验验证与效果分析**

为了验证ReDit的有效性，研究团队进行了大规模的对比实验。实验覆盖了三个重要的数据集：GSM8K（小学数学问题）、MATH（高中数学竞赛题）和Geometry3K（几何问题），以及六种不同的大语言模型。

在GSM8K数据集上，ReDit的效果最为显著。使用Qwen2.5-7B模型时，传统GRPO方法需要9000步训练才能达到89.07%的准确率，而使用ReDit的方法仅需1000步就达到了89.16%的准确率，并最终在9000步后达到90.76%的准确率。这相当于将学习速度提升了约10倍，同时最终性能还提升了1.69个百分点。

这种改善效果就像是为学生找到了最适合的学习节奏。原本需要花费大量时间反复练习才能掌握的知识点，现在可以更快速、更稳定地学会。更重要的是，这种快速学习并没有以牺牲最终质量为代价，反而取得了更好的最终成绩。

在更具挑战性的MATH数据集上，ReDit的优势同样明显。传统方法的最高准确率为48.01%，而ReDit将其提升到52.55%，改善了4.54个百分点。考虑到MATH数据集包含的都是高中数学竞赛水平的题目，这种改善意味着AI在处理复杂数学推理方面的能力有了实质性提升。

研究团队还测试了ReDit在不同模型上的通用性。无论是参数量较小的Llama-3.2-3B模型，还是较大的Llama-3.1-8B模型，都显示出了一致的改善效果。这说明ReDit不是只适用于特定模型的"偏方"，而是一种具有广泛适用性的通用改进方法。

**四、方法的技术细节**

从技术实现角度看，ReDit的应用过程如同为原有的训练流程加装了一个"智能调节器"。在传统的GRPO训练中，系统会为每个训练样本计算一个确定的奖励值，然后直接用于更新模型参数。而在ReDit框架下，系统会在计算出原始奖励后，立即为其添加一个随机扰动。

这个扰动的大小需要仔细调节。研究团队发现，扰动太小（比如标准差为0.01）效果不明显，就像调料放得太少没有效果；扰动太大（比如标准差为0.5）则会掩盖原始信号，就像调料放得太多掩盖了食材本味。通过大量实验，他们发现标准差在0.05左右通常能取得最佳效果。

ReDit还支持动态调整策略。比如"余弦反向"调度策略，在训练初期使用较大的扰动来鼓励探索，在训练后期逐渐减小扰动以确保收敛。这就像学习驾驶时，教练在初学阶段会让学员在空旷场地练习（允许较大偏差），而在考试前则要求精确操作。

为了验证ReDit确实解决了梯度不稳定问题，研究团队绘制了详细的训练动态图。在这些图中，可以清楚看到传统方法的梯度范数会出现剧烈波动，有时接近零（梯度消失），有时超过5（梯度爆炸）。而使用ReDit后，梯度范数变得相对稳定，大部分时候保持在合理范围内。

**五、理论基础与深层机制**

ReDit方法的成功不是偶然的，而是有着深厚的理论基础。研究团队从三个方面证明了该方法的理论合理性。

首先，他们证明了ReDit产生的梯度估计是无偏的。这意味着虽然添加了随机噪音，但从长期平均来看，学习方向仍然指向正确的目标。这就像在有轻微颠簸的路上开车，虽然每一刻的方向都有小幅偏差，但总体路线仍然通向目的地。

其次，噪音的引入增加了梯度估计的方差，这种额外的随机性实际上有助于避免训练陷入局部最优解。在机器学习中，局部最优就像登山时遇到的小山头——看起来已经到了顶峰，实际上还有更高的山峰在远方。适当的随机性能够帮助学习过程"跳出"这些小山头，寻找到真正的高峰。

第三，理论分析表明，ReDit能够显著改善收敛时间的上界和下界。简单说，就是它既能让最好情况变得更好，也能让最坏情况变得不那么糟糕。这种"进可攻，退可守"的特性使得ReDit成为一种既实用又可靠的改进方法。

研究团队还发现，ReDit的效果与传统的梯度裁剪或动态采样等方法相比有明显优势。梯度裁剪就像给汽车装了限速器，虽然能防止"超速"，但也限制了在合适时候的"加速"能力。而ReDit更像是为汽车配备了更智能的悬挂系统，既能保持稳定，又不会过度限制性能。

**六、适用范围与限制**

值得注意的是，ReDit主要针对使用离散奖励信号的训练场景。研究团队专门验证了这一点：当他们将ReDit应用于已经连续的奖励信号（比如预训练的奖励模型输出）时，改善效果并不明显。这就像给已经调味良好的菜品再加调料，不仅没有提升，反而可能破坏原有的平衡。

这个发现其实进一步证实了ReDit的设计理念：它不是万能的性能提升器，而是专门针对离散奖励信号问题的"特效药"。在人工智能领域，这种针对性强的解决方案往往比泛化性强但效果平平的方法更有价值。

ReDit的另一个特点是参数调节的重要性。研究团队发现，不同的数据集和模型可能需要不同的最优噪音强度。这就像不同的菜品需要不同的调料比例一样。目前，这种调节还需要通过实验来确定，研究团队建议在正式训练前先在小规模数据上测试不同的参数设置。

从计算开销角度看，ReDit几乎不增加额外的计算成本。添加随机噪音的操作非常简单，相比于整个神经网络的前向和后向传播计算，这部分开销可以忽略不计。这使得ReDit成为一种"高性价比"的改进方法——投入极小，收益显著。

**七、未来发展方向**

研究团队在论文中也坦诚地指出了当前方法的局限性和未来改进方向。目前ReDit的参数调节主要依赖经验和实验，缺乏自动化的参数选择机制。就像一个经验丰富的厨师知道该放多少盐，但很难把这种"感觉"传授给新手。

未来的研究方向可能包括开发自适应的噪音调节策略，让系统能够根据训练进展自动调整噪音强度。另一个有趣的方向是探索不同类型的噪音分布，比如根据具体任务特点设计的定制化噪音模式。

研究团队还提到，ReDit的理念可能适用于其他使用离散信号的机器学习场景，不仅限于大语言模型的训练。这为ReDit技术的进一步推广和应用提供了广阔的空间。

说到底，ReDit这项研究揭示了一个深刻的道理：在追求完美的道路上，有时候适度的"不完美"反而能带来更好的结果。这不仅在人工智能训练中如此，在我们的日常生活和学习中也是如此。适当的挑战和变化，虽然可能带来短期的不确定性，但往往能促进长期的成长和进步。

对于关注AI技术发展的读者来说，ReDit代表了一种新的思路：不是通过复杂的算法创新，而是通过深入理解现有方法的本质问题，用简洁优雅的方式实现显著改进。这种"四两拨千斤"的研究风格，在当前AI技术快速发展的时代显得格外珍贵。这项研究不仅为当前的大模型训练提供了实用的改进方法，更为未来的AI研究提供了新的思考角度。

Q&A

Q1：ReDit是什么？它是如何工作的？ A：ReDit是一种改进AI训练的方法，通过在原本精确的奖励信号中添加少量随机"噪音"来解决训练不稳定问题。就像在菜品中适量加胡椒粉一样，这种微小的随机变化不会改变奖励的基本含义，却能让AI学习过程更加稳定高效。

Q2：ReDit会不会让AI学习效果变差？ A：不会。虽然添加了"噪音"，但ReDit实际上显著提升了学习效果。实验显示，使用ReDit的AI模型学习速度提升约10倍，最终性能也比传统方法更好。这是因为适当的随机性帮助AI避免了学习过程中的"卡死"状态。

Q3：普通人能使用ReDit技术吗？ A：目前ReDit主要面向AI研究者和开发者，需要一定的技术背景才能应用。不过，随着这项技术的成熟，未来可能会集成到更多AI训练平台中，让更多人受益于这种改进的训练方法。