为什么越难的题，AI 越学不会？RGPO 用一个"临时脚手架"解决了这个死结

你大概有过这样的经历：让 AI 解一道数学题，它想了一遍，错了。你让它再想一遍，还是错的。你想说"你就不会再努力一点吗"，可它就是原地打转。

这篇 2026 年 10 月挂在 arXiv 上、被 NeurIPS 2026 接收的论文，讨论的正是这件让人抓狂的事。它的名字叫 Rationale-Guided Policy Optimization，中文一般译作"理由引导的策略优化"，论文里通篇简称 RGPO。作者来自纽约大学、布法罗大学和莫纳什大学，主要成员是 Hoang Phan、Minh Pham、Chau Pham、Chinmay Hegde、Trung Le 和 Qi Lei。

先说清楚这件事在 2026 年意味着什么。当时的前沿模型名单上排着 GPT-6 Astra、Gemini 4 Argon、Claude Opus 5.5、DeepSeek-V4.1-Flash、Kimi K3 这一串名字。这些系统之所以能解数学题、写代码、调用工具、做长链条的自主任务，核心引擎之一就是强化学习。尤其是带可验证奖励的强化学习，也就是 RLVR，它不靠人工标注，只看最后答案对不对，对就给分，错就不给分。

> RLVR*：Reinforcement Learning with Verifiable Rewards，带可验证奖励的强化学习。它的特点是"硬判对错"——模型输出一个最终答案，系统拿它和标准答案比对，相符得 1 分，不符得 0 分。数学题、代码题天然适合这种模式，因为答案可以程序化验证。

问题就出在这个"只给对错"上。

你让模型做一道它现在的能力刚好够不着的题，它会采样出好几条推理路径，然后悲剧了：每一条都是错的。既然都错，全都得 0 分。全得 0 分意味着什么？意味着这一组样本里的奖励值完全相同，方差为零。而 GRPO 这类算法的核心机制，恰恰是靠组内奖励的相对高低来算出"优势值"，告诉模型哪条路比平均好、该被强化。

> GRPO*：Group Relative Policy Optimization，群组相对策略优化。它为同一个问题采样一组回答，然后看每个回答的得分比这一组的平均分高多少、低多少，用这个相对差而不是绝对分数来更新模型。DeepSeek 的数学推理能力就建立在它上面。

> 优势值*：Advantage，衡量"这个动作比平均水平好多少"的数值。正的优势值让模型更倾向于这么干，负的让它回避。全是同一个分数时，优势值全部归零，梯度消失，模型从这道题上学不到任何东西。

于是就有了一个荒诞的处境：模型最需要进步的，正是那些它现在做不出的难题；而恰恰是这些难题，给它提供不了任何学习信号。论文把这叫做"能力与难度的错配"。对参数小的模型、能力弱的模型，这个错配尤其致命，因为它们的采样成功率本来就低，大量算力花在生成一堆错误轨迹上，一条正样本都换不来。

这个困境不是没人想过办法。此前的主流思路是：既然模型自己想不出来，那就给它看答案，或者看专家的解题过程。

论文里对标的几类前作很能说明这条路的分布。LUFFY 把离线的专家推理轨迹混进在线采样里，用策略塑形控制示范的影响；CHORD 把监督微调改造成一个动态加权的辅助目标，塞进强化学习的框架里；GHPO 根据模型当前的能力，动态调整给它多少引导；QuestA 给难题补上部分解法，降低难度；BREAD 在模型自己跑不出来时插入专家前缀，从中间状态继续分支采样；HINT 提供启发式的提示，并且特别强调引导后的轨迹要保持在模型自己的分布附近，别飘太远。

这些方法都有用，但论文指出了它们的共同软肋：辅助数据必须和强化学习任务本身的格式对齐，而且往往要靠更强的模型做拒绝采样，才能筛出合适的训练轨迹。

更大的隐患在于格式模仿。你想，一个人类写出来的解题过程，或者一个大模型生成的推理链，它的措辞、分段、每一步的详略，跟当前这个小模型自己会写出来的东西，大概率是不一样的。你把这种"参考答案"的似然最大化，本质上是在逼着一个习惯走小路的人去临摹大路的画法线，练到最后他可能记住了那幅画，却没学会认路。

一个 20 亿参数的模型在 Mulberry 风格的复杂模板下就撑不住，论文的附录里专门提到，它优化不动。

> 拒绝采样*：Rejection Sampling，一种筛选策略。生成一大堆候选答案，把错的全部丢掉，只留下对的当作训练数据。它有效，但代价是算力，而且对难题来说，可能采一百条也留不下一两条。

这里就是 RGPO 登场的地方。它的起点不是技术，而是一个关于人怎么学习的判断。

教育心理学里有个被反复验证的现象叫"有效失败"：学习者在接受正式讲解之前，先自己挣扎着尝试过，之后对讲解的理解和记忆反而更好。因为那段挣扎让他注意到了问题的结构，激活了相关知识，也就更容易把后面的讲解"挂"到自己已有的认知上。

> 有效失败*：Productive Failure，由 Manu Kapur 在 2008 年提出的概念。核心主张是，先让学习者在自己能力边界上失败一次，比直接告诉他正确答案更能促进深层理解。失败本身不是目的，失败激发的"注意到结构"才是。

但认知导师研究又提出了另一面，叫"帮助困境"：帮得太少，学习者卡死；帮得太多，他就不动脑子了，做的是浅层加工，学到的东西也迁移不出去。

> 帮助困境*：Assistance Dilemma，由 Koedinger 和 Aleven 在 2007 年系统讨论。它描述的是一个两难：教学的帮助量存在一个不好找的最优点，两侧都会损害学习效果。

而帮助学生的人都知道还有个"提示滥用"的问题：有些学生会直接要答案，而不是要理解过程。

RGPO 就是照着这套认知逻辑设计的。它的核心动作可以拆成三步。

第一步，让模型先自己考一次。每个训练样本，模型在完全没有提示的情况下生成若干条回答，接受验证器打分。这一步是摸底，论文里叫"探测轮"。

第二步，如果这道题它全军覆没，那么下一轮就给一点提示。注意，是"一点"。做法是把标准解法切成一串有序的片段，切成 N 份，然后每次只放出一份。如果这轮还是全错，下轮再放一份；如果它已经能做对了，下轮就收回一份。

第三步，也是最关键的一步：拿到提示以后，模型重新写一份独立答案。只有当这份新答案得分比原来那批无提示的回答更高时，它才会被收进一个辅助缓冲区。然后模型被训练去复现这份答案，但复现的时候，输入里已经不含提示了，只有原始问题。

论文里反复强调那个条件概率的写法差异：最大化的是"在原始问题条件下的答案似然"，不是"在带提示的问题条件下的答案似然"。

这一步是整个方法的分水岭。如果训练的是后者，模型学到的是"看到提示就要用提示"，那它在考场上遇到没有提示的情况就废了。训练的是前者，等于把"借助拐杖走通的这条路"翻译回"靠自己也能走通"，拐杖撤掉，路还在。

现在来看那个自适应提示的调度规则，它其实是个很优雅的闭环。设提示等级为 g，取值 0 到 N；本轮只要有一条无提示回答正确，记为 C 等于 1，否则为 0。那么下一轮的更新就是：

全错时 g 加一，有对的时候 g 减一，并卡在 0 到 N 之间。

论文推导了它的漂移趋势：只要模型的正确率超过一个阈值，也就是 1 减去 2 的负 K 分之一次方（K 是每题的采样条数），提示等级就会呈现负漂移，会自动往 0 收敛。说得直白点，随着模型变强，脚手架会自动往下拆。

这里可以打个比方。这一段的设计，很像一个陪练带着你练引体向上。

他不会一上来就托住你的背，而是先看你自己能拉几个。一个都拉不上，下一组他在你脚下垫了个凳子，你踩着上去，能摸到杆了。再拉不动，他垫高一点。当你终于能自己拉上去一个，下一组他把凳子抽掉一格。如果取消凳子你还行，再抽一格。整个过程的目标从来不是让你踩着凳子完成动作，而是让凳子一格一格消失，直到你站在地上也能拉起来。

如果反着来会怎样？论文用实验给了答案：一直把完整凳子给你，也就是全程提供完整解法，训练奖励会刷得飞快。模型发现只要抄提示里的答案，几个 token 就能拿满分，推理长度暴跌，梯度范数剧烈震荡，训练极不稳定。到了没有提示的测试集上，准确率掉到 1%，正好是 100 选 1 的瞎猜概率。

这个数字值得停一下。1% 不是"学得差"，是"什么都没学到"，它连随机猜测的水平都没超过。

论文最有说服力的部分，是一个专门为验证因果而设计的受控仿真。目的是把两个变量隔离开：难题上无提示采样采不到正样本，以及外部理由本身不完美。

这个仿真的设定很讲究。每道题由一串推理决策组成，决策类型总共 40 种，每种有 16 个可能动作。其中 32 种是"简单决策"，模型一开始就对正确动作有极高的偏好，成功概率约 0.78 到 0.89；另外 8 种是"困难决策"，16 个动作里只有 1 个正确，模型初始是一脸茫然的均匀分布，成功率 1/16。简单题只由简单决策构成，难题包含 5 到 7 个决策，其中 4 个是困难决策。而且，困难决策绝不出现在简单题里。

为什么要这么设？因为一道题只有全部决策都对才算对，那么一道难题在初始状态下被无提示采样做对的概率，低到可以忽略。这就是一个人为制造出来的"奖励稀疏"极限场景。

更精妙的是，参考答案被故意做错了。8 种困难决策里有 3 种，参考答案永远指向同一个错误动作。这在模拟一个很现实的处境：你手上的解题资料不是完全可靠的。

结果这组对照给出了三个层次分明的结论。

无提示的 GRPO 在简单题上很快到 99.1%，在难题上三轮之后还是 0.0%。这就是奖励稀疏的实证：它不是学得慢，是根本没在学。

完全照着参考答案做监督（RL + SFT(ref)），难题测试准确率爬到 12.8% 就卡住了，因为那 3 种被系统性做错的决策类型，它一直在被反复教错。把 RGPO 里"只收更优回答"的奖励门控拿掉，结果一模一样，也是 12.8%，错误引导轨迹和正确轨迹被一起蒸馏了进去。

而完整的 RGPO，难题测试准确率 99.5%，整体测试准确率 99.4%，简单题上的表现也没丢。

这里有个细节特别有意思：整个主实验里，平均只有 7.4 条引导回答被接受。7.4 条，就够把学习启动起来了。

为什么会这样？因为困难决策类型在不同题目之间是复用的。一旦某一条被验证过的引导轨迹帮模型搞定了某一种困难决策，这个改进会迁移到所有包含该决策的其他题目上，那些题目随后的无提示采样就开始出现正样本，常规的强化学习信号重新接通。最初那几根火柴，点燃的是整片林子。

现在看真实模型上的表现。语言模型实验用的是 Qwen2.5-3B，训练集是 HINT 论文使用的 DAPO-Math-27K 切分，训练 3 轮，注意 HINT 本身训了 10 轮。

这份对比表值得逐行读。

在 AIME、MATH-500、OlympiadBench、Minerva Math 四个分布内基准上，RGPO 的平均分是 26.8，而 HINT 是 21.8，差 5.0 分。请注意，HINT 已经是在场所有基线里最强的那个了。MathVista 之外的分布外测试上，RGPO 平均 32.2，最强基线 29.9，高出 2.3 分。MATH-500 上它比 HINT 高 6.6 分，Minerva Math 上高 8.7 分，这两个恰恰是最需要长链条结构化推理的基准。

26.8 分意味着什么？它是从 19.7 分起步的，那个 19.7 是普通 GRPO 的成绩。也就是说，整个方法带来的提升不是几个点的微调，是接近三分之一的总量级跨越。

视觉语言模型这一侧，用的是 Qwen2-VL-7B-Instruct，另加一个 2B 的版本测小模型的收益是否还在。结果同样清晰：MMStar-Math 上 RGPO 到 70.1，而基座模型只有 46.4，整整高出 23.7 分，同时超过了 R1-VL-7B 和 Mulberry 这类开源的强推理模型。MathVista-Math 上拿到 73.65，在几何、代数、几何问题求解三个子集上都拿了最佳，分别是 73.47、73.62、73.89。只有教科书问答那一档提升有限，论文推测是 MINT-CoT 的训练集和这部分测试数据有领域重叠，本来就没什么提升空间了。

训练效率的部分也值得单独说。在 Qwen2-VL-2B 上配 GRPO，RGPO 用少 2.95 倍步数就达到了基线的最终性能，而且最终精度更高。换成 REINFORCE++ 作基线时差距更大，论文报告快了 3.18 倍，最终精度高出一大截。7B 模型上 RGPO 也快 2.34 倍。

> REINFORCE++*：一种无评论家的策略优化算法，用全局批次上的优势归一化来稳定训练，不需要额外训练一个价值网络。相比 GRPO，它在某些设置下训练更不稳定。

模型越弱、基线算法越不稳，RGPO 的优势越明显。这个规律符合直觉：能力越差的模型，越容易在无提示采样上全军覆没，也就越需要那根脚手架。

还有一个容易被忽略但很重要的分析，关于提示的具体形式。

论文对比了两种系统提示词。一种是 Mulberry 风格，要求模型先描述图片、再给理由、再分步推理、再按 ### 分段输出，结构极其繁琐。另一种是 DeepSeek-R1 风格，只有一句话：先在 think 标签里想，再把最终答案放进 boxed。

结果前者处处吃亏。它逼着模型生成 380 到 400 个 token 的冗长回复，奖励曲线几乎平着不动，因为那个复杂的输出格式本身就没学会，格式没学会，任务性能也就无从谈起。后者一开始训，奖励就往上走，回复长度反而急剧掉到 100 个 token 以下，每一步的训练时间也跟着下降。

这件事的启示挺朴素：引导的形式如果不贴合模型自己的输出习惯，本身就是一种额外的负担。你把脚手架搭得越复杂，模型越要花力气先学会怎么扶着它。

再说那个只给诊断反馈、不给解法版本。论文在 MM-HELIX 的 24 点游戏任务上做了这个实验，专门看 RGPO 是不是非得依赖专家写好的推理链。

> 24 点游戏*：给四张牌上的数字，用加减乘除和括号把四个数各用一次，凑出 24。它有唯一可验证的正确答案，是检验推理能力的经典任务。

RGPO-7B 只用了机械求解器生成的、短且生硬的中间状态作为脚手架，准确率 40.00%，超过了 MM-HELIX-7B 自己的 33.33%。而完全不给解法的 RGPO-7B w/o CoT，只靠验证器反馈"你的结果比 24 小了 12，改大一点"这种诊断信息，也拿到了 36.67%，超过同期的 7B 对手，追平了体量大得多的 Qwen2.5-VL-32B-Instruct。

这一组数据说明，有用的抽象其实比"参考解法前缀"更宽。脚手架的本质不是给出答案，而是让一条更好的轨迹变得更容易被找到。它可以是半截解法，可以是机械生成的中间状态，也可以只是一句"你算错了，方向往哪边调"。

关于鲁棒性，论文在含噪提示上的表现也很说明问题。给正确的思维链时，全程使用提示的基线能到 95.2，略微高于 RGPO 的 93.8，这符合预期，因为它就是被优化来最大化利用提示的。但在原始的无提示基准上，RGPO 反超，38.4 对 33.6。而在把思维链打乱、还告诉模型"你可以参考它"的含噪设置下，基线掉到 20.4，RGPO 是 25.5。一个被训练成永远依赖提示的模型，遇到误导性的提示时会老老实实跟着错。

论文也没有回避自身的问题。标准形态的 RGPO 需要参考理由或某种信息量足够的引导源，效果取决于这份引导的质量和粒度。如果放出的片段里包含了太多答案相关的信息，它可能学到走捷径、死记硬背，而不是可迁移的推理；如果给得太少，或者风格离模型自己的分布太远，它可能救不回那些深陷奖励稀疏的难题。奖励门控只保证在现有验证器下更优，不保证推理真的正确，所以它同样会继承验证器的偏差、奖励劫持，或者只是刷到了格式分。额外的引导采样和辅助监督也让它的开销高于单遍的 PPO 或 GRPO。论文特别说明，他们保持了每个样本的采样数量与 GRPO 基线一致，以保证对比公平。

写在后面

读完这篇论文，最让我愣住的是那个数字：7.4。

整个受控仿真里，平均只有 7.4 条引导回答被接受，就足以把难题准确率从 0 拉到 99.5%。我们平时谈强化学习，谈的是几十万上百万条样本、海量算力、反复迭代。这篇论文说的是，如果你给对了那几条，它们自己会繁殖。

这让我想起一个完全不同的领域。贫困经济学里有个观点，说给一个村子修路、建学校、发钱，效果可能都不如帮它建立起第一条能自我循环的商业链条。7.4 条被验证过的轨迹，就是这条路。困难决策类型在题目之间复用，所以学到一种决策就等于给所有需要它的题目开了扇门。

另一个让我反复琢磨的地方是那个 12.8%。它出现得太整齐了：直接监督参考答案是 12.8%，拿掉奖励门控还是 12.8%。同一个数字，两个完全不同的失败路径。前者是资料本身错了，后者是资料里有对有错但你不筛。这说明"有引导"和"引导有用"是两回事，中间隔着验证这一步。这一步看着不起眼，一个门槛而已，但它承担了全部的质量责任。

还有那个 1%。全程给完整答案，训练奖励高得漂亮，测试时 1%。我在想，如果只看训练曲线，这个方法看起来会非常成功。而实际上它学会的只是"抄"。这种训练指标和真实能力之间的背离，可能是所有依赖奖励信号的方法都要面对的幽灵。

至于没解决的问题，论文自己也点到了：它依赖一个可靠的验证器。可验证奖励恰好是数学和代码这类任务的奢侈，真实世界里大量的推理任务没有这种硬判对错的标准。如果一个任务的答案需要人来判断好坏，这套脚手架还能不能搭起来，论文没有回答。

还有一个我没想明白的地方。RScheduler 的阈值是 1 减去 2 的负 K 分之一次方，K 是采样条数。K 越大，阈值越低，脚手架越早开始拆。这意味着采样预算和引导强度之间有一种隐含的耦合。那条曲线在不同的 K 下会不会走出完全不同的形状，论文没有展开。

Q&A

Q1：RGPO是什么？

A1：RGPO是纽约大学、布法罗大学和莫纳什大学团队提出的强化学习框架，全称 Rationale-Guided Policy Optimization。它把标准解法切段，在模型做错题时作为临时脚手架放出，等模型能自己解出后再逐步收回，从而缓解难题上的奖励稀疏问题。

Q2：RGPO和直接给AI看标准答案有什么区别？

A2：直接给答案会让模型学会依赖提示，在没提示的测试中表现极差。RGPO只把通过验证器、且优于原有回答的引导轨迹收进来，并且训练时输入的是不含提示的原始问题，等于把借助拐杖走通的路翻译成靠自己也能走通。

Q3：RGPO在实验中的表现如何？

A3：语言模型上，RGPO在AIME、MATH-500等四个基准的平均分达到26.8，高出HINT基线5.0分。视觉语言模型上，MMStar-Math拿到70.1，比基座模型高23.7分。在2B模型上，达到基线性能只需2.95倍更少的训练步数。