自适应思维模式切换：南京大学研究团队提出进程级思维模式动态调整方法，让AI更"聪明"也更"高效"

南京大学软件新技术国家重点实验室的研究团队，包括Yi Wang、Junxiao Liu、Shimao Zhang、Jiajun Chen和通讯作者Shujian Huang，于2025年5月在arXiv上发表了一篇题为《PATS: Process-Level Adaptive Thinking Mode Switching》的研究论文（arXiv:2505.19250v1）。这项研究提出了一种全新的推理范式，能够让大型语言模型根据每一步推理的难度动态调整思维模式，从而在准确性和效率之间取得更好的平衡。

想象一下，当你解决问题时，有些简单问题你可以快速思考就得出答案，而复杂问题则需要你慢慢分析、逐步推理。人类天生就具备这种能力，可以根据问题的难度灵活切换思考方式。但目前的大型语言模型（LLM）却往往采用固定的推理策略，无论问题简单还是复杂，都使用同一种方法去解决。这就像是无论修理简单的灯泡还是复杂的电路，都拿出全套工具箱一样——对简单问题而言太过浪费，对复杂问题又可能不够充分。

南京大学的研究团队注意到了这个问题，他们提出了"进程级自适应思维模式切换"（Process-Level Adaptive Thinking Mode Switching，简称PATS）方法。这个方法的核心思想是，在推理过程中，根据每一步的难度来动态调整思考策略，就像人类在解决问题时那样灵活。

当模型面对一个数学问题时，它会先使用复杂的思维模式开始解答。如果发现当前步骤比较容易（通过一个叫做过程奖励模型的评分机制判断），它就会在下一步切换到更简单的思维模式，节省计算资源；如果发现当前步骤的解答质量不佳，它会立即切换回复杂模式，或者重新思考这一步。这就像是一个聪明的学生，对简单的计算题用心算，遇到复杂问题才拿出计算器一样。

研究团队在多个数学推理基准测试上进行了实验，结果表明，PATS方法能够在保持高准确率的同时，显著减少计算资源的使用。比如，与始终使用复杂思维模式相比，PATS的准确率仅仅下降了0.3个百分点，但计算资源的使用量却减少了近45%。这就像是既能跑得快，又不会消耗太多体力的长跑选手。

一、大型语言模型思维模式的困境

当前的大型语言模型（LLM）在推理能力上取得了显著进步，从最初的"快速思考"（直接回答问题）到更复杂的"慢速思考"（如思维链推理、反思机制等）。这些进步让模型能够处理更加复杂的问题，但也带来了新的挑战。

想象一下，你去参加考试，有些题目非常简单，有些则需要深思熟虑。如果你对每一道题目都花同样多的时间和精力，那么你可能在简单题目上浪费了太多时间，而复杂题目又因为时间不足而做不好。大型语言模型也面临着类似的困境——它们通常采用固定的推理策略，无论问题的难度如何。

研究人员发现，在数学推理任务中，计算密集型的子步骤对有限规模的监督微调模型构成了主要挑战。例如，在解决一道复杂的数学题时，某些步骤（如复杂的代数运算）可能特别困难，需要更多的思考；而其他步骤（如简单的加减法）则相对容易。同样地，在迷宫导航等任务中，不同子问题的难度也存在差异。

这些发现表明，推理过程中的难度是动态变化的，需要相应地动态分配计算资源。固定的推理策略无法适应这种变化，导致在简单问题上浪费资源，在复杂问题上又表现不佳。

二、从系统切换到进程级适应

受到双重处理理论的启发，人类可以灵活地在快速思考（系统1）和慢速思考（系统2）之间切换：前者快速高效，适合简单任务；后者则慢而深思熟虑，适合复杂问题。这两种认知风格与大型语言模型采用的不同推理策略高度吻合。

之前的研究已经探索了在大型语言模型中实现系统1和系统2切换的机制，大致可分为基于训练和免训练方法。本研究关注的是免训练设置。目前的代表性工作HDFLOW采用了一种固定策略：先使用系统1生成初始解决方案，如果解决方案未通过评估，则激活更复杂的系统2重新考虑问题。

然而，这种方法存在明显的局限性：它只在获得完整解决方案后才决定是否切换思维策略，这过于粗糙，与当前复杂问题分步推理的背景不符，也缺乏对推理过程中难度变化的适应能力。

为了解决这些问题，南京大学的研究团队提出了"进程级自适应思维模式切换"（PATS），这是一种全新的推理范式，能够在每一步推理中根据难度动态选择适当的思维模式，在准确性和效率之间取得良好平衡。

三、PATS：细粒度的动态思维模式切换

PATS方法建立在以下核心设计上：

首先，研究团队采用了基于过程奖励模型（PRM）引导的波束搜索框架。在这个框架中，模型在每一步生成多个候选步骤，然后使用PRM对这些候选步骤进行评分，选择得分最高的一个作为该步的最终选择，然后继续推理。

关键的创新点在于，研究团队将思维模式与每一步生成的候选步骤数量关联起来。具体来说，他们定义了三种思维模式：

简单思维模式（Simple Thinking Mode）：每步生成2个候选步骤，类似于直接回答风格的推理，适合相对简单的问题。 中等思维模式（Medium Thinking Mode）：每步生成4个候选步骤，反映了典型的思维链推理，适合中等难度的问题。 复杂思维模式（Complex Thinking Mode）：每步生成8个候选步骤，反映了o1风格的慢思考，更适合具有挑战性的问题。

这就像是解题时的不同策略：简单模式相当于快速心算，中等模式相当于用笔和纸计算，复杂模式则相当于使用计算器或电脑辅助计算。

在推理过程中，模型默认从复杂思维模式开始。在每一步推理完成后，系统会根据当前步骤的PRM得分（反映了推理质量）来动态调整下一步的思维模式：

如果当前步骤的PRM得分很高（≥0.85），表明推理状态良好，系统会逐渐过渡到更简单的思维模式，以节省计算资源。例如，如果当前是复杂模式，下一步会切换到中等模式；如果当前是中等模式，下一步会切换到简单模式。

如果当前步骤的PRM得分较低（<0.75），表明推理状态不佳，系统会立即切换到最复杂的思维模式，以避免错误累积。

如果当前步骤的PRM得分处于中间状态，系统会保持当前的思维模式不变。

此外，系统还引入了对特别糟糕步骤的惩罚机制。如果某一步的PRM得分非常低（<0.4），系统会立即惩罚当前步骤，并以复杂模式重新思考这一步，而不是等到下一步再调整。这就像学生做题时发现一个明显错误，立即擦除重做，而不是继续往下做。为了避免在无法解决的步骤上陷入无限循环，每个步骤最多只会被惩罚一次。

这种细粒度的控制使得模型能够根据推理过程中的实际难度动态调整思考策略，既保证了准确性，又提高了效率。

四、实验设计与结果分析

为了验证PATS方法的有效性，研究团队在多个数学推理基准测试上进行了广泛的实验，包括GSM8k、MATH500、Minerva Math、AMC23和AIME24，这些测试涵盖了从基础到高级的各种数学推理难度。

实验使用了不同参数规模的Qwen2.5系列模型作为策略模型，主要实验采用Qwen2.5-7B-Instruct模型。过程奖励模型则选用了多种开源PRM，包括Math-Shepherd、Qwen2.5-Math-PRM-7B和Qwen2.5-Math-7B-PRM800K。

评估指标包括两个维度：准确率（解答正确率）和效率（生成的输出标记数量）。

实验结果令人振奋。与固定思维模式的基线相比，PATS在准确率和计算效率之间取得了出色的平衡：

平均而言，PATS的准确率（61.3%）接近于始终使用复杂思维模式的设置（61.6%，仅低0.3个百分点），但标记使用量仅为后者的55.4%。 与始终使用中等思维模式的设置相比，PATS的准确率高出近3个百分点，而标记使用量相当。 与始终使用简单思维模式的设置相比，PATS的准确率高出显著的5.8个百分点。 这意味着，PATS能够在保持高准确率的同时，显著降低计算资源的使用，就像一个既聪明又高效的问题解决者。

更重要的是，PATS明显优于粗粒度的解决方案级切换方法。与后者相比，PATS的平均准确率高出4.4个百分点，同时标记使用量还减少了约7%。这证明了进程级的推理策略调整优于粗粒度的解决方案级切换，强调了在整个推理过程中及时调整策略的重要性。

五、深入分析与泛化性验证

研究团队进行了一系列深入分析，以更好地理解PATS的工作机制和适用性。

首先，他们研究了不同初始思维模式在不同难度任务上的表现。结果表明，将初始思维模式与任务难度对齐能够有效平衡准确率和计算效率。对于简单任务，以简单模式开始能够达到最低的标记使用量和可比的准确率；对于中等难度任务，中等模式能够达到最高的准确率和适中的标记使用量；对于困难任务，复杂模式明显优于其他模式。

其次，研究团队比较了不同难度任务的推理行为。他们选取MATH500作为较简单任务的代表，AMC23作为较困难任务的代表，并将推理过程标准化为[0, 1]范围，分为五个相等的阶段。结果显示，对于正确解决的问题，AMC23在推理中期到后期阶段表现出更高比例的复杂思维模式，反映了更大的认知努力，与AMC23问题的更高复杂性一致。这表明，更困难的任务需要更多的推理努力才能得到正确的解答，强调了根据推理难度动态分配计算资源的必要性。

关于惩罚糟糕推理步骤的必要性和适度性，研究团队比较了三种策略：无惩罚（糟糕步骤不处理）、无限惩罚（在复杂模式下反复重新思考糟糕步骤，直到分数超过阈值）和PATS（一次性惩罚方法）。结果表明，PATS取得了最佳平衡，在达到最高准确率的同时，比无限惩罚策略节省了大量标记，与无惩罚策略相比标记使用量相当。这证明了惩罚次优推理步骤对防止延迟纠正的重要性，同时也强调了对无法解决步骤避免过度重新思考的必要性。

最后，研究团队还验证了PATS在不同策略模型和过程奖励模型上的泛化能力。结果表明，无论是在不同参数规模的策略模型（Qwen2.5-1.5B-Instruct和Qwen2.5-3B-Instruct）上，还是在不同的过程奖励模型（Math-Shepherd和Qwen2.5-Math-7B-PRM800K）上，PATS都表现出强大的泛化能力。在所有情况下，PATS都始终在平均准确率上优于固定的简单和中等思维模式，同时保持接近中等模式的适中标记使用量。值得注意的是，在Math-Shepherd设置中，PATS甚至在准确率上超过了始终使用复杂思维模式的设置。

这些结果突显了PATS自适应范式在各种策略模型和过程奖励模型上的鲁棒性，证明了它的广泛适用性。

六、总结与启示

南京大学研究团队提出的"进程级自适应思维模式切换"（PATS）方法为大型语言模型的推理过程提供了一种全新的范式。通过在推理过程中根据每一步的难度动态调整思维模式，PATS能够在准确率和计算效率之间取得出色的平衡。

这项研究的重要性在于，它摒弃了"一刀切"的固定推理策略，转而采用更加灵活、适应性更强的方法，更接近人类的思考方式。就像人类在解决问题时会根据难度灵活调整思考深度一样，PATS让大型语言模型能够"因地制宜"地分配计算资源，对简单步骤快速处理，对复杂步骤深入思考。

实验结果表明，这种方法不仅能够保持高准确率，还能显著降低计算资源的使用，为大型语言模型的高效推理提供了新的思路。特别是在计算资源有限的场景下，这种方法的价值更加凸显。

不过，研究团队也指出了一些局限性。由于计算资源的限制，他们的实验仅限于相对较小规模的策略模型（1.5B、3B和7B），尚未在更大规模的模型上验证。此外，他们的方法依赖于过程奖励模型作为关键评估组件，未来可以考虑融入其他评估方法，如LLM-as-Judge或生成式奖励模型，以扩展实验的范围。

这项研究为大型语言模型的推理过程提供了宝贵的见解，强调了基于过程级、难度感知的自适应推理策略在平衡准确率和效率方面的重要性。它不仅推动了大型语言模型推理技术的发展，也为构建更加智能、高效的人工智能系统提供了新的思路。

未来，随着研究的深入，我们可以期待看到更多基于这种思想的创新方法，使大型语言模型能够更加灵活、高效地解决各种复杂问题，真正实现"既聪明又高效"的智能推理。