让大语言模型学会何时"少思考"：新加坡国立大学研究团队开发出自适应推理框架

在人工智能领域的最新突破中，新加坡国立大学的研究团队Gongfan Fang、Xinyin Ma和通讯作者Xinchao Wang于2025年5月在arXiv上发表了一篇创新研究论文《Thinkless: LLM Learns When to Think》。这项研究提出了一个让人工智能自己决定何时该"多思考"、何时该"少思考"的框架，就像人类在面对不同难度问题时会灵活调整思考深度一样。项目代码已在GitHub上开源，有兴趣的读者可通过https://github.com/VainF/Thinkless进一步了解。

推理型大语言模型：效率与准确度的两难抉择

我们日常使用的AI助手，如ChatGPT等大语言模型，在解决一些需要复杂推理的问题时，通常会展开一连串的思考步骤，就像人类在解决复杂数学题时会一步步推导。这种方式被称为"思维链推理"(Chain-of-Thought reasoning)，确实帮助模型解决了很多复杂问题。

但这种方法也带来了一个明显的缺点：无论问题简单还是复杂，模型都会进行同样详尽的推理过程。想象一下，如果有人问你"2+3等于几"，你肯定会直接回答"5"，而不会写下一大段计算过程。然而，当前的推理型AI模型却常常对简单问题也展开冗长的推理，这就像请一位数学教授解决"1+1"时，他给你写了一整页证明一样——既浪费时间又消耗不必要的计算资源。

研究团队指出，这种"一刀切"的推理方式导致了三个主要问题：生成过多不必要的文本、占用更多内存，以及显著增加计算成本。简单来说，这就像开着大卡车去买一瓶水——大材小用，效率低下。

Thinkless：教会AI什么时候该"少动脑筋"

针对这一问题，研究团队提出了名为"Thinkless"的解决方案。这个名字很有趣，暗示了有时候"少思考"反而是更明智的选择。Thinkless的核心理念是让AI模型学会根据问题的复杂度和自身能力，自动选择使用简短回答还是详细推理。

这个决策过程基于三个关键因素：

首先是问题的复杂度。比如"2+3等于几"这种简单问题，AI可以直接给出答案；而"证明费马大定理"这样的复杂问题，则需要更详细的推理过程。

其次是模型自身的能力。就像一个数学天才可能看一眼复杂方程就能给出答案，而普通人需要一步步计算一样，能力更强的模型可能不需要详细推理就能给出准确结果。

最后是用户对效率和准确性的平衡偏好。有些场景可能更看重响应速度，而有些场景则更注重答案的准确性和可靠性。

研究团队采用强化学习方法训练模型，让它通过不断尝试和获取反馈，逐渐学会何时应该详细思考，何时可以直接给出答案。这就像训练一个学生，通过不断练习，让他掌握针对不同难度问题采用不同解题策略的能力。

Thinkless的技术实现：两阶段训练方法

Thinkless框架的实现分为两个主要阶段：监督式热身和强化学习。

在热身阶段，模型学习如何根据特定控制标记生成不同风格的回答。研究团队使用了两个特殊标记：`` 和 ``，分别指示模型生成详细的推理过程或简洁的直接回答。

具体来说，他们使用两个"专家"模型：一个擅长详细推理的模型和一个擅长生成简洁回答的标准模型。通过一种称为"知识蒸馏"的技术，让Thinkless向这两位"专家"学习，同时针对每个问题生成配对的长答案和短答案。这个过程就像一个学生同时向两位不同风格的老师学习，最终能够根据需要模仿任一种风格。

热身完成后，模型进入强化学习阶段，这是Thinkless的核心创新所在。在这个阶段，模型学习何时应该使用``标记（详细推理），何时应该使用``标记（简洁回答）。研究团队设计了一个巧妙的奖励机制：如果模型用简短方式正确回答了问题，它会获得最高分；如果用详细推理正确回答，得分稍低；而无论采用哪种方式，如果答案错误，都会得到负分。

解决训练崩溃：解耦式相对策略优化算法

然而，在实施强化学习训练时，研究团队遇到了一个严重问题：模型容易陷入"模式崩溃"(mode collapse)，即在训练早期就固化为只使用一种推理模式（通常是短回答模式），从而失去了灵活选择的能力。

这就像一个学生在学习解题策略时，发现简单方法似乎更容易得分，于是放弃了学习复杂方法，最终面对真正困难的问题时束手无策。

产生这个问题的原因在于，标准的相对策略优化算法(GRPO)对所有生成的标记一视同仁。由于详细推理通常包含数百甚至上千个标记，而决定使用哪种推理模式的控制标记只有一个，这导致控制标记的学习信号被大量推理标记的信号所淹没。

为解决这个问题，研究团队提出了"解耦式相对策略优化"(Decoupled GRPO)算法。这个算法将学习目标分为两个独立部分：一部分专注于控制标记的选择，另一部分专注于提高生成回答的准确性。这就像把"选择哪种解题策略"和"如何准确解题"这两个任务分开训练，确保两者都能得到充分的学习机会。

通过赋予控制标记和回答内容不同的权重，模型能够更平衡地学习何时使用详细推理，何时使用简洁回答，从而避免陷入只使用一种模式的陷阱。

实验结果：大幅提升效率而不牺牲准确性

研究团队在多个数学推理基准上测试了Thinkless，包括Minerva Algebra、MATH-500和GSM8K等。结果令人印象深刻：Thinkless成功将详细推理的使用频率减少了50%-90%，大幅提高了模型的效率。

例如，在Minerva Algebra数据集上，Thinkless只在25.88%的问题中使用详细推理，却能保持与原始模型相当的准确率（94.59%相比原始的95.77%）。在GSM8K数据集上，表现更加出色，仅在13.31%的问题中使用详细推理，准确率从83.47%轻微提升至84.18%。

同时，研究团队观察到一个有趣的现象，称为"U形学习曲线"。在训练初期，由于短回答的准确率较低，模型倾向于使用更多的详细推理。随着训练进行，当模型发现对简单问题可以通过简短回答获得正确结果时，开始逐渐增加简短回答的比例。这种行为表明模型确实学会了根据问题复杂度调整推理深度。

更有说服力的是，当面对极具挑战性的AIME（美国数学邀请赛）问题时，Thinkless自然选择了更高比例的详细推理模式。这证明模型不仅学会了"少思考"，还学会了"何时少思考"。

案例分析：模型是如何决定思考方式的

研究团队展示了几个Thinkless做决策的实例。例如，当遇到"7、2、x和10的算术平均数是9，求x的值"这样的简单问题时，模型几乎不产生使用详细推理的倾向（选择``的概率仅为0.003534）。

而当面对"求向量a在向量b上的投影，其中b=(2,6,3)且a·b=8"这样需要一定数学知识的问题时，模型选择使用详细推理的概率大幅提高（0.504883）。

对于更复杂的问题，如"求满足特定条件的点集面积"，模型几乎肯定会选择详细推理方式（概率高达1.0）。

这些例子表明，Thinkless确实学会了根据问题的复杂度和自身解题能力灵活选择推理深度，就像人类在解决问题时会自然地调整思考过程一样。

研究意义与未来展望

这项研究的意义远不止于提高模型效率。它代表了AI系统向更像人类的灵活思考方式迈进的重要一步。人类解决问题时能够根据问题难度和个人能力灵活调整思考深度，而现在AI也开始具备这种能力。

虽然研究展示了令人印象深刻的结果，但研究团队也指出了一些局限和未来可能的改进方向。例如，他们目前主要在数学问题上验证了方法的有效性，未来可以扩展到更多样化的领域；初始模型的训练方式也有优化空间，可以探索更先进的技术如模型合并或轻量级微调来构建更强大的混合推理模型。

总的来说，Thinkless框架为构建更智能、更高效的AI系统提供了一种创新方法。通过让模型学会何时需要深入思考，何时可以直接回答，它不仅提高了响应速度，减少了计算资源消耗，还使AI的行为方式更接近人类的自然思考过程。

正如研究团队所言，这项工作表明，推理型语言模型确实可以学会在生成回答前决定是否需要推理，而这种自适应决策能力大幅降低了推理成本，同时保持了任务性能。这为未来更智能、更高效的AI系统开辟了新的可能性。