超越马尔可夫：贝叶斯自适应强化学习让大语言模型反思性探索更高效

论文基本信息

这项研究由西北大学、谷歌DeepMind和谷歌团队合作完成，第一作者为西北大学的张申奥（在谷歌实习期间完成），通讯作者为西北大学的Zhaoran Wang和谷歌的Yunxuan Li。论文题为《Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning》，发表于2025年5月26日的arXiv预印本平台（arXiv:2505.20561v1），研究代码已在GitHub开源：https://github.com/shenao-zhang/BARL。

一、研究背景：为什么大语言模型需要反思？

想象一下，你正在解决一道复杂的数学题。解题过程中，你可能会意识到自己走错了方向，于是回到前面的步骤，重新思考，尝试不同的解法。这种"啊哈！我明白哪里出错了"的时刻，在人类思考过程中非常自然。令人惊讶的是，经过强化学习训练的大语言模型（LLMs）也表现出类似的行为——它们能够生成长篇的思维链（Chain-of-Thought），进行自我反思，并回溯纠正先前的错误。

然而，传统的马尔可夫强化学习（RL）框架对这种现象的出现却无法给出充分解释。在马尔可夫RL中，模型在训练阶段通过大量尝试错误来学习最优策略，而在测试阶段则完全依赖这一确定性策略，不再进行探索。此外，马尔可夫假设限制了策略只能基于当前状态而非整个历史上下文做决策。因此，马尔可夫RL既无法保证反思性探索在训练中自然涌现，也难以解释为何这种行为在测试时有益。

西北大学和谷歌的研究团队针对这一问题提出了全新视角：将反思性探索重新定义为贝叶斯自适应强化学习（Bayes-Adaptive RL）问题。这种方法显式优化了在马尔可夫决策过程（MDP）后验分布下的期望回报，同时激励模型进行奖励最大化（利用）和信息收集（探索）的行为。研究团队基于此框架提出了BARL（Bayes-Adaptive RL for LLM Reasoning）算法，为大语言模型提供了何时以及如何进行反思性探索的原则性指导。

二、马尔可夫RL的局限性：为何无法解释反思行为

想象你在一片迷宫中，每走一步只能看到当前所处的房间，而无法记住你之前的路径。这就是马尔可夫决策过程的本质——当前决策只依赖于当前状态，而不考虑到达该状态的历史路径。

在传统马尔可夫RL中，训练与测试存在明确分工：训练时进行大量探索以找到最优策略，测试时则严格执行这一确定性策略。研究团队通过理论证明揭示了马尔可夫RL的两大局限性：

首先，马尔可夫策略的最优性可以通过简单记忆训练解决方案实现。由于探索仅限于训练阶段，系统能够通过反复试错发现回报最大化的行动序列，并在测试时完全利用这些记忆的解决方案。这就像你在考试前反复练习标准题目，考试时直接套用记忆的解法，而不是实时思考和适应。

其次，马尔可夫假设限制策略仅基于当前状态而非历史上下文做决策。这意味着即使模型走进了死胡同，它也无法利用过去探索积累的上下文信息来调整策略，从而缺乏动态自适应的能力。就像你在迷宫中，即使已经探索了多条路径，也无法利用这些经验来改变当前的决策策略。

研究团队证明，在有限步长和折扣无限步长的MDP中，反思性策略比非反思性策略更次优，因为纠正错误需要额外的步骤。这也就是说，从纯马尔可夫RL的角度看，反思行为似乎是不必要的。然而实际中，经过RL训练的LLMs却展现出明显的反思行为，尤其是在生成长思维链时。这一矛盾表明，传统RL框架难以充分解释LLMs中涌现的反思性探索行为。

三、贝叶斯自适应RL：为反思行为提供理论基础

研究团队提出，贝叶斯自适应RL框架能更好地解释和指导LLM的反思性探索。这一框架将问题重新定义为在MDP后验分布下优化期望回报，其核心思想可以通过一个简单的例子来理解：

想象你是一位侦探，面对多个可能的案件线索（即不同的MDP假设）。在传统马尔可夫RL中，你会选择最有可能的线索并坚定地沿着它调查到底，无论途中遇到什么矛盾。而在贝叶斯自适应RL中，你会同时考虑多条线索的可能性，随着调查深入不断更新对各条线索可信度的评估（信念更新），并根据最新信息动态调整调查方向。

贝叶斯自适应RL框架通过信念更新过程自然地激励了两种行为：一是追求高回报的利用行为，二是收集更多信息以减少不确定性的探索行为。当模型发现当前策略与观察到的奖励不一致时，它会自动降低对该策略的信念，并切换到其他可能的策略。这种机制完美解释了LLM在推理过程中的"啊哈时刻"——意识到错误并转向新方向的现象。

研究团队通过理论证明，贝叶斯自适应策略的测试时期望回报可以比最优马尔可夫策略高出指数级。这意味着，能够根据新信息动态调整策略的自适应方法，在测试时泛化能力远优于仅记忆训练解决方案的确定性策略。

四、BARL算法：让大语言模型学会何时何地进行反思

基于贝叶斯自适应RL框架，研究团队开发了BARL算法，为LLM提供了何时以及如何进行反思性探索的明确指导。BARL算法的工作原理就像一个智能侦探团队，同时考虑多个解题策略（MDP假设），并根据已观察到的线索（奖励）不断更新对各策略可信度的评估。

具体来说，BARL为每个输入问题执行以下步骤：

首先，让LLM生成多个候选答案，每个答案对应一个MDP假设。这就像侦探团队提出多种破案思路，准备逐一验证。

其次，根据模型当前的信念，为每个假设分配权重。这相当于侦探团队对各种可能性的初步评估。

第三，随着推理过程的进行，通过比较预测奖励与实际观察到的奖励之间的差异，不断更新对各假设的信念。当发现某个假设预测的奖励与实际观察严重不符时，该假设的权重会大幅降低，促使模型切换策略。这就像侦探发现某条线索与证据不符，立即调整调查方向。

BARL算法的状态-动作值由三个组件加权计算：

1. 在特定MDP假设下的值函数，反映了该策略的潜在回报。 2. LLM对该MDP假设的信念，即模型认为该答案的合理性。 3. 观察到的奖励与该MDP假设预测奖励的一致性，用于判断是否需要切换策略。

通过这种方式，BARL提供了一种有原则的方法来整合和修正各种可能的策略，类似于线性化的N种最佳推理，但具有明确的步级指导，告诉模型何时以及如何进行反思性探索。

五、实验验证：从合成任务到数学推理

研究团队通过一系列实验验证了BARL的有效性，首先从一个简单的合成任务开始，模拟LLM推理中的测试时泛化问题。

### 合成任务实验

这个任务设计得非常巧妙：智能体需要连续重复提示词中的标记恰好三次才能获得奖励。训练时使用的提示词标记是0或1，而测试时则是2。这就像训练一个模型解决类型A和B的问题，但测试时却给它一个全新的类型C问题。

实验结果清晰地展示了不同方法的差异：传统马尔可夫RL快速记忆了训练解决方案（重复0或1三次），但在测试时完全无法泛化到新标记2。相比之下，BARL在训练和测试阶段都表现出更好的性能。特别是当给予模型先验知识（即奖励与重复模式有关）时，BARL的准确率和收敛速度进一步提高。这强调了平衡候选集多样性和合理性的重要性——候选集应足够多样以捕捉测试时的不确定性，但又要足够合理以缩小假设空间。

### 数学推理任务实验

研究团队进一步在各种LLM上评估了BARL，包括Qwen2.5-Math-1.5B、Qwen2.5-Math-7B和DeepSeek-R1-Distill-Llama-8B。评估基准包括GSM8K、MATH、CollegeMath和OlympiadBench等数学推理任务。

实验结果表明，BARL在大多数基准测试上的准确率都优于马尔可夫RL基线（如GRPO和进度奖励基线）。更令人印象深刻的是，BARL表现出显著更高的标记效率，与进度基线相比减少了多达39%的平均标记数，与GRPO相比减少了50%，与Qwen2.5-Math-1.5B基础模型相比减少了90%以上。

研究者们还发现，模型整体性能与反思频率之间并无强相关性。BARL的优势主要来自于更高效的探索和更有效的思考标记，而非简单地增加反思的频率。这表明，反思的质量比数量更重要。

六、关键发现：为什么、何时、如何进行反思

通过理论分析和实验验证，研究团队总结了LLM推理反思的三个关键问题：为什么、如何以及何时应该进行反思。

### 为什么需要反思？

马尔可夫RL无法确保反思性探索的涌现，也无法解释其在测试时的益处，因为：(1)探索仅限于训练阶段，以学习并在测试时纯粹利用最优确定性策略，该策略可能仅仅记忆训练解决方案；(2)状态条件策略缺乏收集额外上下文和回溯的动机。相比之下，贝叶斯自适应RL通过优化测试时的泛化能力，鼓励探索收集上下文信息，从而减少MDP的不确定性。

### 如何进行反思？

BARL提供了一种有原则的方式来拼接可行策略，通过维护MDP假设的后验分布，每个假设都与采样的候选答案相关联。反思性探索通过假设消除自然涌现，使模型能够实时适应。

### 何时进行反思？

当LLM的内部信念与累积奖励反馈之间出现差异时，应该进行自我反思。这种差异通过降低那些具有高信念概率但基于先前观察不太可能最优的假设的权重，发出切换策略的信号。

七、总结与未来展望

这项研究为理解和增强LLM的推理能力提供了全新视角。通过将反思性探索重新定义为贝叶斯自适应RL问题，研究团队不仅解释了为什么反思行为有益，还提出了BARL算法，为模型提供何时以及如何进行反思性探索的原则性指导。

实验结果表明，BARL在合成任务和数学推理任务上均优于传统马尔可夫RL方法，表现出更高的准确率和标记效率。特别值得注意的是，模型性能与反思行为的关键相关因素不是反思的频率，而是探索的效率和思考标记的有效性。

未来，研究团队计划将BARL方法扩展到更广泛的领域，如编程和智能体任务。这项研究不仅推进了我们对LLM推理能力的理解，还为开发更高效、更灵活的AI系统提供了新的方向。

对于关注AI发展的读者来说，这项研究揭示了一个重要信息：真正的智能不仅仅是记忆和执行，还包括根据新信息动态调整策略的能力。就像人类在解决问题时会不断反思和调整一样，未来的AI系统也将越来越擅长这种自适应推理，使它们在面对新挑战时表现得更加灵活和高效。