AI做数学题时，到底是哪一步想错了？

你有没有想过这样一个问题：一个大模型解一道数学题，写了二十步推导，最后答案错了。那么，是哪一步出的错？

这个问题听起来简单，但在强化学习训练大模型推理能力的领域里，这几乎是个无解的谜题。因为模型拿到的反馈只有一个：对，或者错。没人告诉它"第十五步你开始瞎编了"。于是训练系统只能靠猜,猜哪一步该负多少责任。这篇来自浙江大学、西湖大学、上海AI实验室等机构的论文,就是在死磕这个猜测过程,并且发现了一个相当尴尬的事实:现在业界广泛使用的方法,猜得几乎和瞎猜没什么区别。

**当模型连「哪步错了」都判断不出来，再多的训练也只是在噪声里打转。**

这篇论文的核心贡献,叫TPPO（Tracking-Value PPO，追踪价值的PPO）,它不是又造了一个更复杂的模型,而是重新审视了一个被所有人忽略的数学结构,并用这个结构修正了价值预测的方式。

为什么模型猜不出哪一步错了

要理解这个问题,得先搞懂强化学习训练大模型推理时用的一个经典工具,叫PPO。

PPO（Proximal Policy Optimization,近端策略优化）：一种强化学习算法,靠一个"评委"网络（critic）给每一步生成的内容打分,再根据这些分数调整模型该往哪个方向优化。

PPO的核心是一个评委网络,它的任务是预测:从当前这一步往后继续写,最终能不能把题做对。这个预测值叫作"状态价值"。听起来挺合理,给每一步打个分,分高的步骤就说明走在正确方向上,分低的就说明走偏了。

但问题出在,数学题的奖励只有做完整道题之后才知道对错,中间过程没有任何直接信号。这就像老师只在你交卷之后告诉你总分,从不告诉你哪道题错了。评委网络要靠这个唯一的终点信号,反推出每一步的价值,这件事本身就极其困难。

论文作者做了一个很扎实的验证实验。他们拿训练中的PPO评委网络去预测,从某一步到下一步,成功概率的变化方向是增是减,然后和真实的变化方向对比。这个真实方向怎么得到？用蒙特卡洛采样,从某个节点出发,采样一百多次往后继续生成,统计到底有多少次能把题做对,这个比例就是这一步真实的"成功概率"。

结果令人意外:评委网络判断方向对不对的准确率,从训练开始的50.34%,一路跌到训练后期的45.91%。

这是什么意思？随机瞎猜的准确率是50%。模型训练了几百步之后,评委判断价值变化方向的能力,反而比瞎猜还差。

论文里给了一个具体案例特别有说服力。有道题目,模型在某一步写出"选3个人加入某个3人小组",这是正确的推理步骤,真实价值从60%跳到70%左右,涨了0.43。但PPO的评委却给出了负0.104的判断,说这一步价值在下降。另一道题,模型写出"唯一解是x=0"（这其实是错的）,真实价值从30%多骤降到接近0,跌了0.992,是个重大失误的信号。但评委预测的变化却是正的0.036,完全没察觉到这是个灾难性错误。

两个方向全反了。

**这不是个别案例的偶然失误,而是系统性的、持续恶化的问题。**

打一个比方。假设你是外卖骑手的调度系统,你的任务是判断骑手走的每一段路是不是在往正确方向靠近。如果你判断方向的能力还不如随机掷硬币,那你给出的"奖励"信号就是纯噪声,骑手不但学不会怎么抄近路,反而可能被你带着越走越远。PPO评委网络现在面临的,正是这个困境:它给出的信号不仅没帮上忙,甚至在误导模型往错误方向调整。

那这个问题的根源在哪？论文给出了一个很优雅的数学分析。

价值的变化,本来应该是贝叶斯更新

论文的关键洞察是这样的:如果终点奖励是二元的（对或错）,那么任何一个推理前缀的"价值",本质上就是"从这里继续写下去,最终做对的概率"。这是个概率。

而概率这种东西,有个很美的性质:当你观察到一个新信息（这里是指新生成的一个token）,这个概率该如何更新,是有明确数学规律的,叫贝叶斯更新。

贝叶斯更新：根据新观察到的证据,用概率论的规则修正已有的信念,计算公式是用先验概率乘以似然比,再归一化。

论文证明了一个命题:如果把价值从0到1的概率空间,转换到对数几率空间（logit空间,也就是log(p/(1-p))这种形式）,那么从一步到下一步的价值变化,恰好等于一个对数似然比,这个量只跟"做对的情况下更可能说这句话"还是"做错的情况下更可能说这句话"有关。

这个结论的实际意义是什么？意味着价值的演变具有加法结构。你把每一步的"价值增量"一个个加起来,就能还原出整条推理路径上每个点的价值。这不是近似,而是在理论上严格成立的等式关系。

举个日常的例子帮助理解。想象你在玩一个猜数字游戏,每次猜测后主持人会给你一个提示,告诉你猜大了还是猜小了。你对"正确答案是多少"的信念,会随着每一个提示不断被修正,而且这种修正是可以精确累加的:每条提示带来的信息量是独立可计算的,把所有提示的信息量叠加起来,就是你当前信念相对初始信念的总变化。价值在推理链条上的演变,原理是一样的,每一步新生成的内容都是一条"提示",它应该给价值带来一个可以被独立计算、然后累加的增量。

如果不利用这个加法结构会怎样？标准PPO的评委网络,是直接给每一个前缀单独打一个分,完全没有要求相邻两个分数之间满足这种加法关系。这就好比让一群互不通气的裁判分别给比赛的每一帧打分,而不是让一个裁判持续跟踪比赛进程给出连贯的评分,结果自然是帧与帧之间的分数毫无章法,看不出比赛走势。

TPPO是怎么把这个结构用起来的

既然理论上价值的变化应该是可以累加的,那干脆就把这个约束直接写进模型结构里。

这就是TPPO的核心设计。它不再让评委网络直接给每个前缀吐出一个最终分数,而是让网络对每一个新生成的token,只输出一个"增量",然后把从头到尾的所有增量累加起来,作为这个位置的价值logit,最后用一个sigmoid函数把logit转换回0到1之间的概率。

sigmoid函数：一种把任意实数压缩到0到1之间的数学函数,常用来把"分数"转换成"概率"。

写成公式会更清楚一点,但这里换成人话说:标准PPO的评委像是每次重新打分，看一眼当前这段文字就吐出一个独立的分数,不管前面打过什么分；TPPO的评委则像是记账,每一步只报告"相比上一步,价值涨了还是跌了多少",然后系统自动把这些涨跌记录累加成当前的总价值。

这个设计巧妙的地方在于,它不需要任何额外的标注数据,也不需要额外的采样计算。训练信号还是用那个唯一的终点对错结果,只是损失函数变成了对每一个累加出来的价值,都用这个终点结果去做二元交叉熵监督。

二元交叉熵（BCE）：一种衡量预测概率和真实的0/1标签之间差距的损失函数,预测得越准,损失越小。

论文还做了一个很细致的推导,说明每一个增量在训练时能收到什么样的梯度信号。结果发现,每个增量会从它影响到的所有后续位置的价值预测中,收集一个汇总梯度,相邻增量之间的梯度差正好等于当前预测价值和真实标签之间的差距。这说明即便没有给增量设计直接的监督目标,它依然能通过这种累加结构,间接学到应该如何在每一步调整价值。

**所有token共享同一个终点奖励,但因为它们影响的后续价值不同,每个增量得到的训练信号也是不同的。**

这里有个很值得琢磨的生活化类比。假设一个团队做了一个项目,最后项目成功或失败是唯一的结果,整个团队共享这一个结果作为"奖金"或"惩罚"的依据。如果不区分每个人在项目不同阶段的具体贡献,那大家拿到的激励信号完全一样,没人知道自己是做对了还是做错了,这是标准PPO面对的处境。但TPPO相当于引入了一种"阶段性复盘"机制:每个人的贡献被看作对最终结果的一个"增量",而这个增量会根据它影响的所有后续阶段被重新评估,即使最终奖惩是统一的,每个人收到的反馈强度和方向却可以不同。如果不这样设计,团队协作中最容易出现的问题就是,干得好的人和拖后腿的人拿到完全一样的反馈,激励机制彻底失灵。

实验结果:数字说话

论文在Qwen3系列模型上做了大量实验，覆盖数学推理、Countdown数字游戏和科学编程任务。

![critic对比图]

先看最核心的方向判断准确率对比。论文专门设计了一个受控实验,固定住生成模型,只改变评委网络的参数方式和损失函数,结果显示：标准评委用均方误差（MSE）损失,方向判断准确率是50.51%；换成BCE损失,准确率是50.70%，几乎没有改善；但换成TPPO的累加结构加BCE损失,准确率跳到52.71%，在更严格的筛选条件下甚至能到53.94%。

均方误差（MSE）：预测值和真实值之差的平方的平均,是一种常见但对价值这种概率量不太适配的损失函数。

这个对比的意义在于，证明了提升不是来自换了个损失函数这种小把戏,而是来自累加结构本身真正改变了评委对价值演变的理解方式。

再看最终的推理表现数据。在Qwen3-4B-Base模型上,数学推理任务的平均准确率，PPO是34.6%，TPPO达到41.6%，提升了7.0个百分点。在Qwen3-8B-Base上,PPO是37.5%，TPPO是45.9%，提升8.4个百分点。这个提升幅度在AIME竞赛题上更夸张,8B模型上PPO的三年AIME平均分是15.8/12.5/11.3，TPPO直接干到25.8/22.3/20.5，几乎是翻倍的水平。

跨域泛化能力也在变好。在ARC-C、AGI-Eval、BBH这几个没有直接训练过的任务上,TPPO同样全面超过PPO,说明学到的不是死记硬背某一类题的套路,而是更稳健的推理能力。

论文还对比了另外两个同类方法，VAPO和SPPO，TPPO在几乎所有场景下都是最优或次优。在科学编程任务上，用Qwen3.5-9B测试,LiveCodeBench这个基准上PPO是57.6%，TPPO是73.1%，涨了15.5个百分点，这是整篇论文里最大的单项提升。

Countdown数字游戏（一种给定几个数字,要求通过加减乘除凑出目标数的任务）上同样有效，用三四个数字的题目训练,TPPO在三四位数测试上从62.5%涨到67.1%，在没训练过的五位数测试上也从61.3%涨到64.5%，说明这套方法对任务类型并不敏感。

评委真的变聪明了吗

光看最终分数提升不能证明评委网络真的学懂了价值演变,论文又做了一轮更细致的诊断实验。

他们在训练过程中的五个检查点,各自用PPO和TPPO生成的模型去采样回复,然后对每条回复在9个关键位置用蒙特卡洛采样估算真实价值变化方向,和评委预测的方向比对。

结果显示,TPPO在训练后期持续保持比PPO更高的方向判断准确率,而PPO的准确率随着训练推进反而下滑。在信噪比筛选更严格的条件下，两者差距在训练后期能达到6到7个百分点，而且用bootstrap方法计算的置信区间都在零以上，说明这个差距是真实存在的，不是采样噪声。

信噪比（SNR）：这里指价值变化的幅度相对于估计误差的比例,比例越高说明这个变化越可信,不容易是噪声导致的假象。

更进一步,论文还检验了基于这些价值估计计算出来的"优势值"（advantage，决定每个token该往哪个方向调整多少的核心信号）的质量。拿蒙特卡洛估计出来的参考优势值作对比,TPPO算出来的优势值和参考值的夹角余弦相似度、符号一致率，都显著优于PPO，训练后期的符号一致率提升幅度能到15到20个百分点。

这组数据说明的是一件挺本质的事。价值预测准了，不只是让模型少犯方向性错误这么简单，它直接决定了每一个token在反向传播时拿到的权重是正是负、是大是小。价值判断错了方向，相当于告诉模型"这步做对了，继续这样写"，而实际上这步正是错误的开端。

消融实验告诉我们提升从哪来

论文也很诚实地做了拆解实验，看看TPPO的提升到底来自累加结构本身,还是来自换了BCE损失函数这个附带效果。

他们试了四种组合:标准评委+MSE（也就是原始PPO）、标准评委+BCE、TPPO累加结构+BCE（也就是完整版TPPO）、TPPO累加结构+MSE。结果是，标准评委换成BCE后确实有改善，但明显不如完整版TPPO；而把TPPO的累加结构配上MSE损失，训练早期直接崩掉，表现远低于其他三种方案。

这说明两件事。累加结构这个设计本身是提升的主要来源,但它和BCE损失搭配时才稳定,BCE损失天然适配概率值的学习,MSE在这个结构下反而破坏了训练稳定性。两个设计是互相配合的，缺了任何一个都不够完整。

另外论文还对比了共享输出头和分离输出头两种实现方式。共享头是指,预测初始价值和预测后续增量,用的是同一组模型参数；分离头是用两组独立参数。结果共享头的表现更稳定，分离头版本在训练过程中会出现初始logit的数值大幅偏离，波动也更大。这是一个工程细节,但也说明了,简单的实现方式在这里反而更鲁棒。

写在后面

读完这篇论文,最让我意外的一点其实不是TPPO的效果有多好，而是那个贝叶斯推导本身。它提醒我们，很多时候一个看似复杂的工程问题（评委网络预测不准）,根源可能是建模方式压根没有尊重数据本身的数学结构。价值是个概率，概率的更新有固定的规律，而标准PPO从一开始就没有把这个规律写进模型里，这不是算力不够或者数据不够的问题,是设计思路上的一个盲点。

另一个让我反复想的细节是，PPO评委的方向判断准确率是随着训练推进越来越差的，不是停滞不前，是真的在恶化。这意味着模型越训练，给出的信号可能越不可靠，而很多人可能会把这种恶化误读成"模型学到了更复杂的特征所以暂时表现震荡"，而不会去想是不是评委本身出了结构性的问题。这提示我们，在看强化学习训练曲线的时候，光看最终分数涨没涨是不够的，中间的信号质量同样值得盯着看。

这篇论文没有解决的问题也挺明显。它假设的是终点奖励必须是二元的（对或错），一旦奖励变成连续值或者有多个维度，这套贝叶斯推导就不再严格成立了。现实世界里很多任务的反馈恰恰是模糊、连续、多目标的，这套方法能不能延伸过去，还是个开放的问题。

Q&A

Q1：TPPO是什么？

A：TPPO全称Tracking-Value PPO，是一种改进的强化学习训练方法，核心是让评委网络通过累加每一步的价值增量来预测推理过程中的状态价值，而不是像标准PPO那样对每一步独立打分，从而更准确地追踪价值在推理链条上的演变方向。

Q2：标准PPO在训练大模型推理时存在什么问题？

A：标准PPO的评委网络很难判断相邻推理步骤之间价值变化的方向，论文实验显示其方向判断准确率从训练初期的50.34%下降到训练后期的45.91%，比随机瞎猜还差，说明它给出的训练信号存在系统性误导。

Q3：TPPO相比PPO在实际任务上提升有多大？

A：在Qwen3-4B-Base和Qwen3-8B-Base上，数学推理平均准确率分别提升7.0和8.4个百分点，在科学编程的LiveCodeBench基准上提升高达15.5个百分点，在跨域泛化任务和Countdown数字游戏上也都有明显改善。