思维增强型策略优化：搭建外部指导与内部能力之间的桥梁 - 清华大学研究团队开创强化学习新范式

这项由清华大学自动化系、交叉信息科学研究院和北京信息科学与技术国家研究中心的研究团队联合完成的开创性工作，于2025年5月发表在arXiv预印本平台（arXiv:2505.15692v1）。该团队由吴金阳、廖崇华、冯明宽、张帅、闻铮琦、邵鹏鹏、徐华哲和陶建华共同完成，展示了一种全新的强化学习方法，旨在提升大型语言模型的推理能力。

为什么我们需要"思维增强"？

想象一下，你正在学习解决复杂的数学问题。传统方法是什么？反复尝试不同解题路径，然后记住那些成功的方法。这就像是在黑暗中摸索——你只知道某些路径能成功，但不知道为什么或如何应用到新问题上。这正是当前强化学习训练大语言模型面临的困境。

当前的强化学习方法，如GRPO（Group Relative Policy Optimization），虽然能够通过奖励机制引导模型找到正确答案，但它们主要是通过偏向那些能获得高奖励的输出路径来工作，而没有引入额外的外部知识。用餐厅寻找美食来打个比方：传统方法就像是你只能依靠自己的尝试来找到好餐厅，而没有美食指南或朋友推荐的帮助。这种方式限制了模型的探索能力，使其推理能力边界比基础模型更窄。

研究团队提出的解决方案——思维增强型策略优化（TAPO）——就像是给探索者提供了一本思维指南。它通过引入外部高级指导（"思维模式"）来增强强化学习过程。这些思维模式可以看作是解决问题的抽象策略或"思考路径"，帮助模型学习更通用、更可解释的推理行为。

TAPO如何工作？就像给AI配备了思维导航仪

传统的强化学习训练就像是让学生自己摸索解题方法，而TAPO则像是在困难时提供有用提示的导师。具体来说，TAPO构建了一个"思维库"——一个存储高级思维模板的通用仓库，这些模板从仅仅500个种子样本中抽象出来。

每个模板代表了解决某类问题的抽象策略。想象一下，解决几何问题的通用步骤可能是：分析问题结构→应用相关定理→逐步推导→验证结果。这种抽象策略就是一种"思维模式"，可以应用于各种几何问题，而不仅限于特定案例。

在GRPO采样过程中，TAPO会自适应地识别和应用相关的思维模板。对于每个新问题，系统会找出最相关的思维模式，并将其用作推理指导。这种动态集成外部指导和内部模型能力的方法，使系统能够内化更通用、更可解释的推理行为，稳定模型学习，并产生更强大的推理模型。

从500个样本到普适思维模式：思维库的构建过程

TAPO的核心在于其"思维库"的构建。研究团队首先定义了五种人类思维行为，用于桥接模型推理和人类认知：

第一种是"分而治之"，这类似于我们将复杂问题分解为可管理的子问题；第二种是"自我反思"，即评估和完善先前解决方案；第三种是"系统分析"，分析问题的整体结构并确定约束条件；第四种是"单步思考"，通过专注的推理步骤解决问题的单个方面；最后是"思维链"，采用连接逻辑步骤的顺序推理过程。

有了这些行为定义，团队使用蒙特卡洛树搜索（MCTS）技术为每个种子问题生成解决方案树。MCTS就像是在棋盘游戏中提前规划多步棋路，不断尝试不同路径并评估哪条路径最有可能成功。对于每个问题，系统会选择最优的解决方案轨迹，并提取其中的高级思维模式（如：系统分析→单步思考→分而治之）。

这些提取的模式随后按照"问题条件复杂性"（PCC）进行分类整理。PCC衡量问题中已知先验条件的数量，可以被视为问题的"复杂度指纹"。相似问题往往具有相似的PCC值，使得这个指标成为模式聚合的有效工具。

当系统遇到新问题时，它会计算该问题的PCC值，并从思维库中找出最相似的思维模板。这种适应性检索机制确保了模型能够应用适当的推理策略，而不是使用一刀切的方法。

实验结果：TAPO显著超越现有方法

研究团队在多个高水平推理基准上评估了TAPO的性能，结果令人印象深刻。TAPO在五个竞赛级基准测试中显著优于现有强化学习方法，平均提高了12.0个百分点。特别是在具有挑战性的AIME和AMC基准上，TAPO分别比GRPO提高了99%和41%，在Minerva Math上提高了17%。

更令人惊讶的是，这些高级思维模式——仅从500个先验样本中抽象出来——能够有效地泛化到各种任务和模型。TAPO在不同规模和架构的模型上展示了有效性，包括Qwen2.5-Math系列和Llama3系列模型。即使是在较弱的Llama3.2-3B-Base上，该方法也能实现稳定学习，而这个模型在标准GRPO训练中通常会遇到困难。

研究人员还评估了TAPO在分布外（OOD）任务上的泛化能力。尽管所有比较方法都是在数学数据上训练的，但TAPO在ARC-C、GPQA-Diamond和MMLU-Pro等OOD任务上平均优于GRPO 13.7%，这表明该方法在使用高级外部指导增强OOD泛化方面的有效性。

更稳定的学习，更出色的解释能力

TAPO不仅提高了模型的性能，还带来了更稳定的学习过程和更出色的解释能力。在训练动态分析中，研究人员发现TAPO在两种模型上都能持续实现比GRPO更高的整体训练奖励。虽然这种优势在Qwen2.5-Math-7B-Base上看起来较为适中，但在较弱的Llama3.2-3B-Base上则更为显著。

值得注意的是，GRPO在训练后期往往会崩溃，而TAPO即使在弱模型上也能维持稳定的训练动态。这种增强的稳定性源于TAPO将思维模式策略性地整合到采样过程中。通过将复杂问题分解为可管理的子任务，TAPO为弱模型提供了明确的外部指导，赋予它们通常只有更强模型才具备的高级任务分解能力。

此外，案例研究表明，TAPO产生的推理过程更具可读性和可解释性。与GRPO生成的解决方案相比，TAPO的输出结构更清晰，逻辑更连贯，并且能够系统地解决问题的各个方面。

结语：思维增强开启强化学习新时代

TAPO的提出标志着强化学习训练推理模型的一个重要里程碑。通过桥接外部高级指导和模型内部推理能力，TAPO有效解决了当前强化学习方法的根本限制。

归根结底，TAPO就像是给AI提供了思维地图和指南针，而不仅仅是让它在黑暗中摸索。这种方法不仅提高了模型的性能，还增强了其适应能力、稳定性和可解释性。从本质上讲，TAPO代表了一种更平衡的学习方法，将人类智慧（以抽象思维模式的形式）与机器学习能力相结合。

未来的研究可能会探索将思维增强型强化学习应用于更多样化的任务和领域，特别是检索增强生成和多模态推理场景。TAPO建立了一个坚实的基础，用于有效地将外部知识与强化学习相结合，以增强各种AI应用中的推理能力。

如果你对这项研究感兴趣，可以通过arXiv:2505.15692v1访问完整论文，深入了解TAPO的技术细节和实验结果。这项研究不仅为AI研究人员提供了新的方法论，也为我们如何思考和增强AI的推理能力提供了新的视角。