思考到什么时候为好？美团AI研究团队提出自适应思考模式切换方法，让大型推理模型更高效

在2025年5月21日发表于arXiv的论文《When to Continue Thinking: Adaptive Thinking Mode Switching for Efficient Reasoning》中，来自美团的研究团队包括张晓云、阮静青（通讯作者）、马星、朱雅文、赵昊东、李昊、陈建松（通讯作者）、曾科和蔡训良提出了一种名为"自适应自恢复推理"（Adaptive Self-Recovery Reasoning，简称ASRR）的框架，用于解决大型推理模型在推理过程中过度思考的问题。

想象一下，你平时解决问题的方式：对于简单问题（比如"0.9和0.11哪个更大？"），你可能一眼就能得出答案；而对于复杂问题（比如高等数学证明），你可能需要仔细思考，一步步推导。但如果有人不管问题难易，都要绞尽脑汁从基本原理推导，岂不是太浪费时间了？

这正是当前大型推理模型（LRMs）面临的问题。这些模型通过强化学习训练后，往往会生成不必要的长推理链，特别是在处理简单问题时，造成大量计算资源的浪费。理想情况下，模型应该能够动态调整推理长度，对复杂问题进行详细推理，对简单问题只需简单或无推理就能给出答案，从而实现效率最大化。

美团研究团队通过系统分析，发现了LRMs具有一种"内部自恢复机制"，即模型在被抑制明确推理时，有时会在生成答案的过程中隐式地补充推理步骤，特别是在处理具有挑战性的问题时。研究人员将这种现象称为"继续思考"（Continue-Thinking）。

然而，虽然这种自适应行为很有前途，但研究分析表明，它有两个主要限制： 1. 模型在处理更困难的问题时，往往无法充分进行继续思考行为，导致推理不完整，准确率降低 2. 模型可能在简单问题上不必要地调用继续思考，导致过度思考和效率低下

为了解决这些挑战，研究团队提出了自适应自恢复推理（ASRR）框架，指导LRMs根据问题难度动态调整推理长度。ASRR引入了一种基于准确率阈值的奖励机制：只有当组内达到足够的准确率时，才应用长度惩罚，从而平衡效率和正确性。

让我们通过一个简单的比喻来理解ASRR框架的工作方式：想象一个学生在做不同难度的题目。对于简单题，他可以直接写出答案；对于难题，他需要详细思考和推导。ASRR就像是一个聪明的教练，它教会模型判断题目难度，简单题直接答，难题详细思考，从而节省整体解题时间，同时保证答题质量。

在各种模型和基准测试的实验中，ASRR显著减少了推理长度，同时保持了高性能。此外，ASRR增强了"继续思考"频率与问题难度之间的相关性，反映了模型难度感知和预算分配能力的提升。

接下来，我们将深入了解这项研究的具体方法、实验设计和重要发现。无论你是AI领域的爱好者还是对高效推理感兴趣的普通读者，这项研究都提供了对大型语言模型思考过程的有趣见解。

一、研究背景和动机

想象你有一个非常聪明的朋友，他解决任何问题都要从宇宙大爆炸开始推导，即使是"1+1=？"这样的简单问题。虽然他总能得出正确答案，但这种过度思考的习惯会浪费大量时间和精力。这正是当前大型推理模型（LRMs）面临的问题。

近年来，像OpenAI-o1和DeepSeek-R1这样的大型推理模型在复杂推理任务上取得了显著进步。它们通过生成长推理链来解决问题，效果确实很好。但问题在于，这些模型被强化学习训练后，往往会不管问题难易，都生成不必要的长推理链。先前的研究已经指出了这种"过度思考"现象，即使对于"0.9和0.11哪个更大？"这样的简单问题，模型也会进行冗长的推理。

理想情况下，推理模型应该像人类一样，能够根据问题难度动态调整思考深度：复杂问题详细分析，简单问题快速解答。最近的研究探索了LRMs在"无思考模式"（No-Thinking）下的表现，这种模式下模型不生成明确的推理链，直接给出答案。这些研究表明，在无思考模式下，LRMs仍然能够达到高准确率，尤其是当并行样本数量增加时。

美团研究团队的实证分析揭示了一个有趣的现象：这部分是因为模型有时会在生成答案的过程中隐式地补充推理步骤，特别是对于具有挑战性的问题。研究团队将这种现象称为"继续思考"（Continue-Thinking）。

如图1所示，当模型进行继续思考时，它能够成功解答一个具有挑战性的问题；而在模型未能继续思考的情况下，它无法给出正确答案。研究团队将这种继续思考现象称为"内部自恢复机制"，这表明模型具有初步的难度感知能力和推理预算分配能力。

然而，虽然这种自适应行为很有前途，但研究分析表明它有两个主要限制：

首先，模型往往无法在更困难的问题上充分进行继续思考行为，导致推理不完整，准确率降低；其次，模型可能在简单问题上不必要地调用继续思考，导致过度思考和效率低下。这些问题突显了对更准确的难度感知和更合理的推理资源分配的需求。

为了解决这些挑战，研究团队提出了自适应自恢复推理（ASRR）框架，引导LRMs根据问题难度动态调整推理长度。ASRR引入了一种基于准确率阈值的奖励机制：只有当组内达到足够的准确率时，才应用长度惩罚，平衡效率和正确性。

二、方法论：自适应自恢复推理框架

研究团队首先进行了系统分析，揭示了LRMs具有潜在能力，可以在答案生成过程中补充缺失的推理步骤，这一现象被称为"内部自恢复机制"。基于这一观察，他们提出了自适应自恢复推理（ASRR）框架。

### 观察与动机

研究团队分析了LRMs的"内部自恢复机制"，并探索了无思考前缀对模型性能的影响。他们在四个基准测试上进行了探索性实验和定量分析：AIME 2024、OlympiadBench、AMC 2023和MATH500。

他们评估了模型在两种设置下的表现：（1）长思考模式，包括完整推理过程和答案总结的响应；（2）无思考模式，在提示中附加非推理前缀（如"好的，我想我已经完成思考"）以阻止显式推理。对于这两种设置，他们进行了256次并行前向传播，并计算pass@256指标。

令人惊讶的是，长思考和无思考模式在四个基准测试中实现了几乎相同的性能，平均pass@256分别为86.4%和84.98%。进一步分析表明，这主要是由于在无思考模式下出现了继续思考行为。

为了更好地理解这一效果，研究团队排除了表现出继续思考行为的样本，观察到无思考模式的pass@256分数显著下降，平均从84.98%降至74.98%。最大降幅出现在AIME 2024上，从73.33%降至46.66%。此外，他们观察到继续思考行为的频率与基准测试的难度之间存在强烈的正相关性：在最困难的AIME 2024上，继续思考比率为42.6%；在OlympiadBench上为19.7%；在AMC 2023上为22.2%；在最简单的MATH500上仅为9.4%。

这些结果表明，模型固有地具有初步的难度感知和答案验证能力，继续思考行为构成了LRMs的"内部自恢复机制"。

然而，LRMs当前的难度感知和预算分配能力仍存在明显局限性。研究团队分析了不同推理模式下的pass@1指标。pass@256和pass@1的比较揭示了一个关键限制：虽然无思考模式在困难问题上的pass@256与长思考模式相近（例如，在AIME 2024上仅下降3.4%），但其pass@1性能下降更为显著（下降16.9%）。这表明模型在单次通过设置中难以为困难问题持续补充推理。同时，在较简单的基准上，模型仍然生成不必要的冗长输出，反映了持续的过度思考。

这些结果强调了需要机制使LRMs能够根据问题难度动态调整推理深度，同时不牺牲整体性能。

### 自适应自恢复推理框架

为了解决上述问题，研究团队提出了自适应自恢复推理（ASRR）框架，这是一种动态推理优化框架，利用LRMs的"内部自恢复机制"。ASRR的核心目标是在难度感知和推理预算分配之间取得平衡，通过显式抑制不必要的推理，同时在需要时允许隐式恢复。

ASRR包括两个主要组件：

第一个组件是在无思考模式下的显式推理抑制和隐式自恢复。这个模块使用特殊的输出前缀激活简化的推理模式，鼓励模型跳过简单问题的冗余推理步骤，但允许在更具挑战性的情况下进行隐式恢复。

第二个组件是动态长度惩罚（DLP）。这个模块基于准确率阈值应用动态长度惩罚，仅当模型在组级别达到足够准确率时，才自适应地惩罚过度推理。

这个框架旨在增强LRMs在不同复杂性任务中的效率和准确性。

#### 无思考模式下的显式推理抑制和隐式自恢复

受模型继续思考行为的观察启发，研究团队发现LRMs即使在显式推理被抑制时也能内部恢复推理步骤。为了利用这一能力，他们引入了一种在无思考模式下的训练策略，通过在输入提示中附加特殊前缀显式抑制推理，同时仍然启用隐式自恢复。

形式上，给定一个预训练的推理语言模型LLMθ和一个数据集D = {(xi, yi)}，其中每个实例由输入提示xi和最终答案yi（不包含中间推理痕迹）组成。对于每个输入xi，他们通过无思考前缀注入构建增强提示：

xi = xi ⊕ pterm, pterm = "好的，我已经完成思考。"

其中⊕表示字符串连接，pterm表示无思考前缀。给定增强提示，模型根据条件概率生成输出序列：

Pθ(y|xi) = ∏T Pθ(yt|xi, y<t)

通过这种设计，研究团队期望无思考模式能够实现高效推理：

对于简单输入，前缀pterm旨在使模型偏向于生成直接答案，最小化预期的推理标记数量；对于更困难的输入，预期模型内部激活潜在推理路径，导致更长但必要的答案生成序列。

#### 动态长度惩罚（DLP）：基于准确率的奖励调节

传统的长度惩罚在所有情况下强制输出缩短，但这通常会导致两个问题：（a）模型为最小化长度而牺牲正确性，导致"短但错误"的输出；（b）惩罚太弱，无法抑制过度思考，导致"准确但冗长"的推理。

为了解决这一问题，研究团队设计了一种条件惩罚机制，平衡效率和准确性。具体来说，他们动态调整长度惩罚的时机和强度：只有当模型达到准确率阈值τ时才激活惩罚，且其强度随性能提高而逐渐增加。

研究团队将训练数据分成组G，并计算平均组准确率AccG。只有当AccG ≥ τ时，才激活长度惩罚，其中τ是预定义的阈值。

对于每个组，计算每个样本i的超长比率Oi：

Oi = clip((Li - Lcorrect_shortest) / Lwindow, 0, 1)

其中Lcorrect_shortest是组内正确回答样本中的最小生成长度，Lwindow是常数长度惩罚窗口。然后，每个样本的总体奖励为：

Ri = I(yi = yi) - α · Oi

其中I(·)是答案正确性的指示函数，α是惩罚强度系数。

惩罚系数α根据组准确率动态调整：

α = { 0 如果 AccG < τ β·(AccG-τ+ε)/(1-τ+ε) 否则 }

其中β是设置惩罚上限的缩放因子，ε是确保数值稳定性的小常数。

当准确率AccG低于阈值τ时，长度惩罚被禁用（α = 0），允许模型仅专注于最大化正确性，而不会因过早的长度优化而承担风险。当准确率达到或超过阈值（AccG ≥ τ）时，长度惩罚逐渐引入，鼓励模型减少冗余推理，同时仍然保持正确性。这种动态平衡机制允许模型首先掌握答案正确性，然后逐渐优化效率，最终实现"简短且准确"的推理过程。

三、实验设计与结果分析

研究团队进行了全面的实验，以评估ASRR框架在不同模型和基准测试上的有效性。实验结果表明，ASRR能够在最小的性能牺牲下显著减少推理长度，同时提高模型对问题难度的感知能力和推理资源的分配效率。

### 实验设置

实验在两个模型上进行：DeepSeek-R1-Distill-Qwen-1.5B和DeepSeek-R1-Distill-Qwen-7B。这些模型在各种任务上展示了强大的能力，表明ASRR的通用性。

研究团队在五个基准测试上进行了全面实验，包括主要结果和多维验证研究：MATH500、AIME2024、AMC2023、Olympiad Bench和GSM8K。此外，他们还在BeaverTails和HarmfulQA基准测试上评估了模型对安全相关查询的自适应响应能力。

基线包括：（1）原始模型，（2）使用GRPO增强的原始模型，（3）同时使用GRPO和无思考前缀的原始模型。由于ASRR能够灵活调整准确率阈值以平衡效率和性能，研究团队还将其与几种代表性的长度减少技术进行了比较，包括直接偏好优化（DPO）、S1和基于长度约束的强化学习方法（L1、ThinkPrune和Kimi k1.5）。

### 在最小性能牺牲下实现预算控制

表1展示了ASRR框架在DeepSeek-R1-Distill-Qwen-1.5B和DeepSeek-R1-Distill-Qwen-7B上的主要结果。研究团队比较了四种设置：原始模型、GRPO长链推理、无思考提示（零样本）和提出的ASRR。

结果显示，GRPO显著提高了模型的推理准确率，但仍然产生长生成链。无思考提示大幅减少了输出长度，但以牺牲大量准确率为代价，特别是在具有挑战性的基准测试（如AIME和Olympiad Bench）上。相比之下，ASRR框架在保持高性能的同时实现了生成长度的显著减少。

具体来说，在1.5B模型上，与GRPO相比，平均生成长度减少了32.5%，而pass@1准确率仅下降了1.2个百分点。对于7B模型，生成长度减少了25.7%，而性能下降仅为0.6个百分点。

这些结果表明，ASRR能够通过利用LRMs的"内部自恢复机制"实现高效的预算分配：它抑制了简单问题上的不必要推理，同时在更困难的实例上灵活触发额外的推理步骤，以保持高准确率。这验证了自适应框架在平衡推理效率和性能方面的有效性，展示了其在实际应用中的强大泛化能力和实用价值。

### 性能与效率之间的权衡

图5展示了各种长度控制LRMs在推理时间思考长度和性能（pass@1准确率）之间的权衡，研究团队在不同准确率阈值（0%、25%、50%、75%、100%）下评估了DeepSeek-R1-Distill-Qwen-1.5B上的ASRR方法。图上的每个点代表这些准确率设置下ASRR方法在基准测试上的推理结果。

研究团队将他们的方法与其他预算控制算法在AMC和AIME数据集上进行了比较。ASRR在受限思考令牌预算内显著提高了性能。例如，在100%准确率阈值下，相比其他预算约束方法，ASRR方法实现了更高的准确率水平。这表明ASRR使模型能够更高效地进行推理，最大化有限令牌预算的有效性。

总之，ASRR不仅提高了准确率，还通过根据任务需求智能分配令牌资源，优化了计算效率，从而在性能和效率之间取得了平衡。

### 难度感知能力

图6展示了ASRR方法在不同难度的数学推理任务上的动态思考能力。通过提出的"内部自恢复机制"，模型能够根据感知到的问题复杂度自主调整思考链：

在最具挑战性的AIME任务上，继续思考比率达到了80.6%（1.5B）和81.5%（7B），相应地在pass@1准确率上获得了75%（1.5B：从24.8%提升到43.3%）和110%（7B：从27.7%提升到58.1%）的相对改进，相比无思考模式。这证实了对复杂问题进行延长思考链显著增强了推理能力。

在基础的GSM8K问题上，模型以85.4%（1.5B）和91.0%（7B）的高pass@1准确率和最小的继续思考比率（分别为2.6%和0.3%）保持高性能，表明有效的计算成本意识，不牺牲性能。

这些结果表明，ASRR方法使模型能够自适应地分配计算资源，集中资源在更困难的问题上，同时在简单任务上保持高效。

### 安全对齐的改进

最近的研究表明，LRMs在被提示进行不必要或无关的推理链时，容易生成不安全或有害的输出。研究团队提出的方法有选择地使模型只在必要时进行推理，同时避免在直接或潜在不安全的查询上进行扩展推理。这种有针对性的推理机制显著增强了LRMs的安全对齐。

如表2所示，在BeaverTails和HarmfulQA基准测试上，ASRR方法在不同模型规模上实现了无害率的显著提升。具体来说，对于DeepSeek-R1-Distill-Qwen-1.5B，ASRR方法将BeaverTails上的无害率从70.1%（GRPO）提高到83.2%，将HarmfulQA上的无害率从61.7%提高到83.4%，分别增加了+13.1%和+21.7%。同样，对于7B模型，ASRR方法将BeaverTails上的无害率从86.8%提高到91.8%，将HarmfulQA上的无害率从90.4%提高到96.8%，相应的改进为+5.0%和+6.4%。

这些结果表明，ASRR的选择性推理策略不仅保持或增强了任务性能，还是提高安全对齐的有效手段。通过减少不必要的推理，ASRR方法使LRMs在实际应用中更加健壮和可信，有效降低了与过度思考或对抗性提示相关的潜在安全风险。

四、研究结论与未来方向

美团研究团队在这项工作中解决了大型推理模型（LRMs）中性能和效率之间的权衡问题。通过分析模型在长思考和无思考模式下的行为，他们发现了"内部自恢复机制"，并据此提出了自适应自恢复推理（ASRR）框架。

ASRR框架通过抑制不必要的推理并启用隐式恢复，平衡了难度感知和推理预算分配。通过引入基于准确率的长度奖励调节，ASRR根据问题难度自适应地分配推理努力，以最小的性能牺牲实现高效率。

在多个基准测试和模型上的实验表明，与GRPO相比，ASRR减少了推理预算（1.5B模型最高减少32.5%，7B模型减少25.7%），同时保持最小的准确率损失（pass@1分别减少1.2%和0.6%），并显著提高了安全基准测试上的无害率（最高提升+21.7%）。

这些结果突显了ASRR在实现高效、自适应和更安全的LRMs推理方面的潜力。通过使模型能够"知道何时该继续思考"，ASRR为构建更加实用和可靠的推理系统铺平了道路。

研究团队也提到了一些局限性，包括准确率阈值调整（不同数据集或任务的最佳阈值可能不同，需要额外调整）、模型规模和架构的有限评估（主要集中在DeepSeek-R1-Distill-Qwen模型上）以及人类评估的缺乏（目前主要依赖自动评估指标）。

未来的研究方向可能包括开发自适应阈值调整策略，在更广泛的模型架构和规模上进行系统评估，以及结合人类评估以获得更深入的见解。总体而言，这项研究为大型推理模型的高效设计提供了重要启示，特别是在如何根据任务难度动态分配计算资源方面。