用流动奖励让AI更会推理：中科大和上海创新院团队让大语言模型的思考过程更像人类

这项由中国科学技术大学和上海创新院的张景昊、郑乃山等研究人员领导的研究发表于2025年1月，论文编号为arXiv:2510.10201v1。有兴趣深入了解的读者可以通过该编号查询完整论文。研究团队还包括来自字节跳动、武汉大学、东南大学等机构的多位学者，他们共同开发了一种名为RLFR的全新训练方法。

当我们思考复杂数学题时，大脑会一步步推理，每个步骤都在为最终答案做准备。但如果只有答案是对的，中间步骤有错误，我们仍然认为这是一次失败的思考。然而，目前训练AI的方法就像只看最终答案，完全忽视了思考过程的质量。这就好比只看学生的考试分数，不管他们是蒙对的还是真正理解了题目。

研究团队发现了一个有趣的现象：AI在推理时，它的"大脑活动"（也就是模型内部的隐藏状态）其实包含了丰富的信息，就像人类思考时大脑中的神经活动一样。这些隐藏的信息可以告诉我们AI是不是真的在进行有质量的推理，还是只是在胡乱猜测。

想象一下，如果你能看到学生解题时的思维过程，你就能判断他们是真正掌握了方法，还是侥幸蒙对了答案。RLFR技术就是这样一个"读心术"，它能够分析AI的内部思考过程，给好的推理步骤奖励，给不靠谱的步骤惩罚。

研究团队将这种技术比作"流动奖励"，就像河流有固定的流向一样，优质的推理也有其特定的"流向"。当AI的思考偏离了这个正确的"河道"，系统就会给出负面信号；当AI的推理步骤沿着正确方向前进时，就会得到正面奖励。这种方法比传统的只看最终答案的训练方式要精细得多。

**一、传统AI训练的局限性**

目前主流的AI训练方法叫做"可验证奖励强化学习"，听起来很复杂，但原理其实很简单：给AI一道题，它给出答案，如果答案对了就奖励，错了就惩罚。这就像考试只看最终分数，不管学生是怎么得出答案的。

这种方法看似合理，实际上存在严重问题。考虑这样一个场景：一道复杂的数学证明题，学生甲经过严密的逻辑推理，每一步都很严谨，但在最后一步计算时出现了小错误，导致最终答案错误。学生乙完全没有理解题目，胡乱写了一堆公式，但恰好最终答案蒙对了。按照传统的训练方法，学生甲会被惩罚，学生乙会被奖励。显然，这种评判方式是不合理的。

AI在学习推理时也面临同样的问题。它可能在前面90%的推理过程中都是正确的，只是在最后一个环节出现失误，但整个推理链条都会被标记为"错误"而受到惩罚。长期下来，AI可能会放弃复杂但正确的推理路径，转而寻找简单但不可靠的捷径。

更糟糕的是，这种训练方式会让AI变得保守，不敢尝试新的推理方法。就像学生为了避免扣分而只选择最简单的解题方法一样，AI也会避开那些看起来复杂但可能更有效的推理路径。

为了解决这个问题，一些研究者尝试使用"过程奖励模型"，也就是对推理过程中的每一步都给予评分。但这种方法需要人工标注大量的中间步骤，成本极高，就像需要老师逐字逐句地批改每一份作业一样，在实际应用中难以推广。

**二、发现AI的"思维指纹"**

研究团队做了一个巧妙的实验。他们让AI解决同一类数学题，然后分析AI在思考过程中的内部状态。结果发现了一个有趣的现象：当AI进行正确推理时，它的内部状态会呈现出特定的模式；当AI陷入错误推理时，这些模式会发生明显变化。

这就像医生通过脑电图观察大脑活动一样。当一个人专注思考时，脑电图会显示特定的波形；当这个人走神或者困惑时，波形会发生变化。AI的"思维"也有类似的特征。

更有趣的是，研究团队发现AI推理过程中的"思维轨迹"在不同层面呈现出不同的特点。在推理的早期阶段，AI的内部状态变化相对平缓，就像我们刚开始思考一个问题时大脑还在"热身"阶段。而在推理的关键步骤，AI的内部状态会出现剧烈变化，这些变化往往对应着重要的逻辑转折点。

通过大量实验，研究团队发现了一个规律：高质量的推理过程对应着平滑、连贯的内部状态变化，就像一条平静流淌的河流；而低质量的推理过程则表现为杂乱、跳跃的状态变化，像湍急的激流一样混乱无序。

这个发现为评估AI推理质量提供了全新的视角。与其只看最终答案，不如关注整个思考过程的"流畅度"。这就像评价一位钢琴演奏家，不能只听最后一个音符，而要听整首曲子的流畅性和连贯性。

**三、流动奖励的工作原理**

基于这些发现，研究团队开发了RLFR技术。这个名字听起来很专业，但其核心思想可以用一个简单的比喻来解释：把优质推理想象成一条理想的河流，有固定的流向和流速。

首先，研究团队收集了大量高质量的推理样本，就像收集了许多"标准河流"的流向数据。然后，他们训练了一个"流动模型"，这个模型能够预测在任何给定点上，"河流"应该朝哪个方向流动，流速应该是多少。

当AI进行新的推理时，系统会实时监控它的"思维河流"。如果AI的推理轨迹与理想流向高度吻合，系统就给予正面奖励；如果偏离太远，就给予负面惩罚。这就像GPS导航系统一样，当你按照最佳路线行驶时保持安静，当你偏离路线时及时提醒。

这种方法的巧妙之处在于，它不需要人工标注每一个推理步骤的对错，而是通过学习推理的"流动模式"来自动判断质量。就像一位经验丰富的音乐老师，不需要分析每个音符的技术细节，光听旋律的流畅度就能判断学生的演奏水平。

研究团队还解决了一个重要的技术问题：如何确保"流动模型"能够跟上AI能力的提升。他们设计了一个在线更新机制，系统会不断收集AI的新推理样本，筛选出高质量的部分用来更新流动模型。这就像一条河流会根据地形变化调整自己的流向一样，流动模型也会随着AI能力的发展而进化。

为了验证这种方法的有效性，研究团队进行了大量实验。他们发现，使用流动奖励训练的AI不仅在最终答案的准确率上有提升，更重要的是，它的推理过程变得更加稳定和可靠。这就像一位学生不仅考试成绩提高了，解题思路也变得更加清晰有条理。

**四、实验验证与惊人效果**

研究团队在多个具有挑战性的数学推理任务上测试了RLFR技术，结果令人振奋。他们选择了包括AMC数学竞赛、MATH数据集、奥林匹克数学等在内的多个基准测试，这些都是AI推理能力的"高考"。

在语言推理任务中，使用RLFR技术训练的AI模型在各项测试中都表现出显著提升。以Qwen2.5-Math-7B模型为例，在AMC23测试中，传统方法的准确率为57.8%，而使用RLFR后提升到59.0%。虽然看起来提升幅度不大，但在AI领域，每一个百分点的提升都代表着巨大的进步，特别是在这些高难度的数学推理任务上。

更令人印象深刻的是在多模态推理任务上的表现。多模态推理意味着AI需要同时处理文字、图像等多种信息，这就像让学生不仅要理解文字题目，还要分析几何图形。在MathVision测试中，RLFR技术将准确率从27.6%提升到31.6%，这是一个非常显著的进步。

研究团队还进行了详细的分析，发现RLFR技术的优势不仅体现在最终结果上，更重要的是提升了AI推理过程的质量。通过分析AI在推理过程中的"词汇选择"，他们发现了一个有趣的模式：传统方法训练的AI倾向于使用一些"连接词"和空洞的表达来填充推理过程，而RLFR训练的AI更注重实质性的推理步骤。

举个具体例子，在解决一个复杂的概率计算题时，传统方法训练的AI可能会写出很多"因此"、"所以"、"综上所述"这样的连接词，但实际的计算步骤却存在逻辑漏洞。而RLFR训练的AI则会直接聚焦于关键的数学计算，每一步都有实际意义，很少使用无意义的填充词汇。

研究团队还测试了RLFR技术在不同规模模型上的效果。从1.5B参数的小模型到8B参数的大模型，RLFR都显示出一致的改进效果，这说明这种方法具有良好的通用性。

**五、深入机制分析**

为了更好地理解RLFR技术的工作机制，研究团队进行了大量细致的分析实验。他们想回答一个关键问题：到底是什么让流动奖励如此有效？

通过分析AI在推理过程中不同层面的内部状态，研究团队发现了一个有趣的现象：AI的"思维深度"会随着推理的进展而逐渐增加。这就像我们解决复杂问题时，思考会从浅层的直觉判断逐步深入到深层的逻辑分析。

在推理的早期阶段，AI主要依靠模式识别和简单的关联来处理问题。这个阶段的内部状态相对简单，变化也比较平缓。但随着推理的深入，特别是在遇到关键逻辑转折点时，AI的内部状态会发生复杂的变化，这些变化反映了深层的语义理解和逻辑推演。

研究团队还发现，高质量的推理过程具有一种"自我一致性"。简单来说，就是AI在推理过程中会保持一种内在的逻辑连贯性，前后步骤之间有清晰的因果关系。而低质量的推理则表现出明显的"跳跃性"，经常出现逻辑断层。

流动奖励技术的巧妙之处就在于能够捕捉这些细微的差别。它不是简单地评判某个推理步骤的对错，而是评估整个推理流程的连贯性和合理性。这就像一位经验丰富的老师，能够从学生的解题过程中看出他们是真正理解了原理，还是在机械地套用公式。

通过对比分析，研究团队发现RLFR技术训练的AI在面对复杂问题时表现出更好的"推理韧性"。当遇到困难或者出现小错误时，传统方法训练的AI往往会完全偏离正轨，而RLFR训练的AI则能够及时调整，回到正确的推理路径上。

**六、技术细节与创新点**

RLFR技术的一个重要创新在于解决了"时间步长偏差"问题。在AI的推理过程中，不同阶段的重要性是不同的。就像解数学题时，设定变量和建立方程是关键步骤，而简单的算术计算相对不那么重要。

传统的评估方法往往对所有步骤一视同仁，这就容易产生偏差。研究团队开发了一种"去偏差加权"机制，能够根据推理阶段的重要性给予不同的权重。在推理的关键阶段，系统会更加仔细地监控AI的表现；在相对简单的阶段，则会适当放松要求。

另一个重要创新是"在线更新机制"。随着AI能力的不断提升，固定的评估标准很快就会变得过时。就像老师需要根据学生的进步调整教学方法一样，流动奖励系统也需要不断学习和更新。

研究团队设计了一个智能的样本筛选机制。系统会自动收集AI在推理过程中产生的样本，然后用多个指标来评估这些样本的质量。高质量的样本会被纳入训练集，用来更新流动模型；低质量的样本则会被过滤掉。这个过程完全自动化，不需要人工干预。

为了确保更新过程的稳定性，研究团队还引入了"拒绝采样"技术。这种技术就像质量控制一样，只有达到一定标准的样本才会被接受。这样既保证了训练数据的质量，又避免了因为低质量样本而导致的性能退化。

研究团队还深入分析了流动奖励与传统概率评估之间的数学关系。他们从理论上证明了，流动偏差的最小化实际上对应着推理质量概率的最大化。换句话说，当AI的推理轨迹越接近理想的"流动模式"，它产生正确推理的概率就越高。这个发现为流动奖励技术提供了坚实的理论基础。

**七、实际应用与案例分析**

为了更直观地展示RLFR技术的效果，研究团队提供了一个具体的案例分析。这是一道关于概率计算的复杂题目：詹妮从集合{1,2,3,...,10}中选择4个不同的数字参加彩票。如果随机抽取的4个数字中至少有2个与她选择的数字相同，她就能获奖；如果4个数字完全相同，她就能获得大奖。问题是：在她获奖的前提下，获得大奖的概率是多少？

传统方法训练的AI在解决这个问题时出现了典型的错误。它正确地计算了总的组合数和各种获奖情况的数量，但在最关键的条件概率计算环节出现了错误。AI计算出获奖的总方式数为47，获得大奖的方式数为1，因此得出条件概率为1/47，最终答案为1+47=48。

而RLFR技术训练的AI表现得更加出色。它同样进行了相同的基础计算，但在关键的概率计算环节保持了正确的逻辑。AI正确地识别出获奖的总方式数应该是115而不是47，因此得出正确的条件概率1/115，最终答案为1+115=116。

这个案例清晰地展示了两种方法的差异。传统方法训练的AI虽然掌握了基本的计算技巧，但在复杂的逻辑推理环节容易出错。而RLFR训练的AI不仅具备了扎实的计算能力，更重要的是保持了推理过程的逻辑一致性。

通过分析AI在解题过程中的内部状态变化，研究团队发现了更深层的差异。RLFR训练的AI在关键的逻辑转折点表现出更加稳定的内部状态，这表明它对问题有更深入的理解。而传统方法训练的AI在这些关键点往往出现状态的剧烈波动，反映了其推理过程的不确定性。

**八、技术对比与优势分析**

研究团队将RLFR技术与现有的多种改进方法进行了详细对比。其中一个重要的对比对象是基于"熵值"的改进方法，这种方法通过分析AI输出的不确定性来调整训练过程。

熵值方法的基本思想是：当AI对某个推理步骤很不确定时（熵值高），这个步骤可能存在问题；当AI很确定时（熵值低），这个步骤可能是正确的。但这种方法存在一个根本缺陷：AI的"自信"并不等同于"正确"。就像一个学生可能对错误答案非常自信一样，AI也可能对错误的推理步骤表现出很高的确定性。

相比之下，RLFR技术不依赖于AI的"自我评价"，而是通过分析推理过程的客观特征来判断质量。这就像一位外部评审员，不会被AI的"自信表演"所迷惑，而是基于客观的推理模式来做出判断。

实验结果也证实了这一点。在多个测试中，RLFR技术都明显优于基于熵值的方法。特别是在那些AI容易过度自信的任务中，RLFR的优势更加明显。这表明，客观的推理过程分析比主观的确定性评估更加可靠。

研究团队还对比了RLFR技术与传统的"过程奖励模型"方法。过程奖励模型需要人工标注每个推理步骤的质量，成本极高且难以扩展。而RLFR技术能够自动学习推理模式，不需要人工标注，这大大降低了应用门槛。

更重要的是，RLFR技术展现出了更好的泛化能力。即使在训练时没有见过的新类型问题上，RLFR训练的AI仍然能够保持良好的推理质量。这说明它学到的不是具体的解题技巧，而是更加根本的推理原则。

**九、局限性与未来方向**

尽管RLFR技术取得了显著成果，但研究团队也诚实地指出了目前存在的局限性。首先是计算成本问题。RLFR技术需要实时分析AI的内部状态，这比传统方法需要更多的计算资源。虽然这个额外的计算开销是可以接受的，但在大规模应用时仍然需要考虑。

其次是领域适应性问题。目前的实验主要集中在数学推理任务上，对于其他类型的推理任务，如常识推理、道德判断等，RLFR技术的效果还需要进一步验证。不同类型的推理可能具有不同的"流动模式"，这需要针对性的调整和优化。

研究团队还提到了一个有趣的发现：RLFR技术似乎更有利于"深度推理"而非"广度推理"。也就是说，它在需要深入分析的问题上表现更好，但在需要快速联想和跳跃性思维的问题上可能不如传统方法。这提示我们需要根据不同的任务类型选择合适的训练方法。

对于未来的发展方向，研究团队提出了几个令人兴奋的可能性。首先是将RLFR技术扩展到更多的AI能力上，如创意写作、科学发现等。其次是开发更加精细的流动模式分析技术，能够捕捉更加细微的推理质量差异。

研究团队还考虑将RLFR技术与其他先进方法结合，创建更加强大的AI训练框架。例如，可以将流动奖励与强化学习、课程学习等技术相结合，实现更加高效和稳定的训练过程。

另一个重要的发展方向是"个性化流动模式"。不同的AI模型可能具有不同的推理特点，未来可以为每个模型定制专门的流动评估标准，实现更加精准的训练指导。

说到底，RLFR技术代表了AI训练方法的一个重要进步。它不再满足于简单的"对错判断"，而是深入到AI的"思考过程"中，引导AI形成更加可靠和稳定的推理能力。这种方法不仅提高了AI的性能，更重要的是让AI的推理过程变得更加透明和可理解。

就像培养学生不能只看考试成绩，培养AI也需要关注其思维过程的质量。RLFR技术为我们提供了一个强有力的工具，让AI能够像优秀的学生一样，不仅知道答案是什么，更知道为什么这个答案是对的。这对于构建更加可信和可靠的AI系统具有重要意义。

随着这项技术的不断完善和推广，我们有理由期待看到更加智能、更加可靠的AI系统出现在我们的生活中。无论是在教育、科研还是日常应用中，这些经过精心培养的AI都将成为我们的得力助手，帮助我们解决更加复杂和具有挑战性的问题。研究团队已经将相关代码、数据和模型权重完全开源，这意味着全世界的研究者都可以基于这项工作进行进一步的创新和改进。

Q&A

Q1：RLFR技术是什么？它和传统的AI训练方法有什么区别？

A：RLFR是一种新的AI训练技术，全称是"带有流动环境的强化学习"。传统方法只看AI给出的最终答案对错来奖惩，而RLFR技术能够分析AI思考过程中的"内部活动"，就像能够看到学生解题时的思维过程一样。它会给优质的推理步骤奖励，给不好的推理步骤惩罚，让AI学会更可靠的思考方式。

Q2：流动奖励是如何工作的？为什么叫"流动"？

A：研究团队把优质推理比作一条河流，有固定的流向和流速。他们先收集高质量推理样本，训练一个"流动模型"来预测推理应该朝哪个方向进行。当AI推理时，系统实时监控它的"思维河流"，如果与理想流向吻合就奖励，偏离太远就惩罚。叫"流动"是因为好的推理过程像河流一样连贯流畅，而差的推理像湍急激流一样杂乱无序。

Q3：RLFR技术在实际测试中效果如何？普通人能感受到这种改进吗？

A：在多个数学推理测试中，RLFR技术都显示出明显改进。比如在AMC数学竞赛中准确率从57.8%提升到59.0%，在多模态推理中从27.6%提升到31.6%。更重要的是，RLFR训练的AI推理过程更稳定可靠，不容易被难题"带偏"。对普通用户来说，这意味着AI在解决复杂问题时会更靠谱，给出的解答过程更有逻辑性。