阿里巴巴让AI"从错误中学习"，这个新方法让数学推理能力大幅提升

这项由阿里巴巴通义千问团队（Qwen Business Unit）联合清华大学、北京大学研究人员共同完成的研究，于2026年6月17日以预印本形式发布，论文编号为arXiv:2606.18844，题为《Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation》，有兴趣深入了解的读者可通过该编号查询完整论文。

一个孩子在做数学题时犯了错，老师有两种处理方式：一种是直接告诉他"正确答案应该是这样的"，让孩子把错误的过程直接划掉；另一种是带着他重新审视自己的错误，精确找出出错的那一步，然后从那里开始重新推理。多年的教育经验告诉我们，后者往往能让孩子记忆更深、进步更快。这项研究的核心思想，正是把这种更聪明的教学方式用到了大型语言模型（AI大脑）的训练上。

研究团队提出了一个名为**轨迹增强策略优化**（Trajectory-Augmented Policy Optimization，简称TAPO）的全新训练框架，并在极具挑战性的美国数学邀请赛（AIME 2024、AIME 2025）和哈佛-麻省理工数学竞赛（HMMT 2025）等顶级数学竞赛题目上验证了其效果。结果显示，TAPO在相同训练步数下始终优于此前的主流方法，让AI不仅能"做对题"，还能"知道自己哪里做错了并自我纠正"。

一、AI做题时的老问题：错了就划掉，从不真正反省

要理解这项研究解决了什么问题，先要了解AI是怎么练习做数学题的。

目前主流的做法叫做"强化学习"，具体来说是一种叫做GRPO（组相对策略优化）的方法。每次训练时，AI会对同一道题给出多个不同答案，然后系统根据答案是否正确给予奖励或惩罚。答对的答案得到鼓励，答错的被压制，AI就这样慢慢变得更擅长解题。这个过程就像让一个学生反复做题、交卷，老师只看最终答案对不对，从不讲解哪里错了、为什么错了。

另一种方法叫做"自蒸馏"，比如OPSD（在线策略自蒸馏）。这种方法会让AI参考自己的"优等生版本"——也就是在看到正确答案后重新生成的回答——然后逐字逐句去模仿那个版本的概率分布。这就像把"正确答案的思维模式"转变成一种数字信号，直接灌进AI的大脑，让它尽量和那个思维模式保持一致。

然而这两种方法都有一个共同的根本缺陷。研究团队把它归纳为两点核心问题。

第一个问题是"隐式且不可控的监督"。自蒸馏方法给AI的指令是"你的每一步推理，都要在概率分布上无限接近那个优等生版本"。但这种指令完全没有告诉AI：你具体在哪一步犯了错？那个错误的性质是什么？应该怎么从那个错误点开始重新推理？AI只是机械地模仿一个正确版本的"数字画像"，却从未真正理解自己的错误在哪里。

第二个问题更为关键，叫做"错误被压制而非被利用"。当AI用错误的方式推理时，自蒸馏方法会通过梯度信号强行把AI的思路拉回正轨，相当于把错误的推理路径整个抹掉，从头来过。这样做的后果是：AI学会了"不要走那条路"，却从没练习过"我已经走到那条路上了，该怎么自救"。真实世界的推理不总是从零开始的，有时候你已经走了一半路，才发现方向不对，这时候能不能及时识别错误、回头纠正，才是真正的推理能力。

更糟糕的是，在错误点上施加过大的惩罚信号，会让AI的"思维多样性"逐渐下降，变得越来越保守、越来越依赖固定模式，最终丧失自主探索和自我纠正的能力。

研究团队借用了教育心理学中的一个著名理论——**最近发展区**（Zone of Proximal Development，ZPD）——来框定这个问题的本质。这个理论由苏联心理学家维果茨基提出，核心观点是：真正有效的教学，必须从学习者当前的理解水平出发，包括他们的错误，然后给出一条明确的路径，引导他们走向正确的理解。当前的AI训练方法，恰恰违背了这个原则。

二、解题新思路：让AI从自己的"原版错误"中学起

TAPO的核心创新，是把训练过程从"模仿正确答案"彻底改造成"从自己的错误中构建修正路径"。

每次训练迭代时，AI会对同一道题给出多个答案，其中有些对，有些错。TAPO把这组答案视为宝贵的原材料，而不是像过去那样只奖励对的、惩罚错的然后扔掉。具体来说，TAPO会做这样一件事：从错误答案中挑出一个，从正确答案中随机挑出一个作为参考，然后让AI自己分析这个错误答案，找出第一个关键错误点，保留错误点之前的所有正确推理过程，在错误点插入一段自然语言诊断（"等等，这里有问题……"），然后从这里重新用正确的方式推理到最终答案。

这个产物就是研究团队所称的**微反思轨迹**（Micro-Reflective Trajectory）。它不是一个"完美的正确答案"，而是一个完整的、真实的、带有错误-诊断-纠正过程的完整思维路径。就像一名学生在草稿纸上写道："我刚才把8除以2算成了3，不对，8除以2应该是4，所以答案是4。"这条完整的纠错路径，比直接给出正确答案，蕴含了更丰富的学习信息。

这个设计有一个精妙之处：错误点之前的推理过程被完整保留，这意味着构建出来的训练数据，开头部分是AI自己原汁原味的推理，分布上和AI当前的思维模式非常接近。相比之下，如果直接把整个答案替换成模型的一套全新推理，那就像逼一个初学者去背一本完全不符合自己思维习惯的教材，会产生严重的"消化不良"。研究团队把这种保留错误前缀的设计称为"分布近邻性"，意思是构建的训练信号始终和AI当前的认知状态保持在合理的距离内，不至于过于陌生而无法学习。

三、候选题目怎么挑：只练"刚刚好有点难"的题

有了构建微反思轨迹的方法，接下来还有一个重要问题：并非所有题目都适合用这种方法来训练。

研究团队设计了一套**难度感知候选选择**（Difficulty-aware Candidate Selection，DCS）机制，直接对应维果茨基的"最近发展区"理论。对于每道题，系统会统计AI给出的多个答案中有多少个正确、多少个错误。只有当正确答案的数量不少于某个下限（参数npos），同时错误答案的数量也不少于某个下限（参数nneg）的题目，才会被选中进行微反思轨迹构建。

这个规则把题目自然分成了三个区域。那些AI几乎每次都能答对的题，说明AI已经掌握了，不需要额外纠错训练，这是"已掌握区"。那些AI几乎每次都答错的题，说明这道题超出了AI当前的能力范围，根本找不到正确的参考答案来构建修正路径，这是"超出能力区"。真正有价值的是中间地带——AI有时对有时错的题——这就是"最近发展区"，也就是AI的能力边界所在。

更聪明的是，随着训练推进、AI越来越强，原来属于"最近发展区"的题会逐渐变成"已掌握区"，系统会自动聚焦到更难的、新的边界题目上。这产生了一种自然涌现的**课程学习**效应，难度会跟着AI的成长自动升级，不需要人工手动调整。

四、训练时的两个坑：优势污染和分布漂移

把微反思轨迹融入训练看似简单，实际上暗藏两个严重的陷阱。研究团队分别设计了精妙的机制来应对。

第一个陷阱叫**优势污染**（advantage contamination）。在GRPO框架中，每道题的多个答案会被放在一个组里，统一计算一个"平均奖励"，然后以各答案的奖励相对于这个平均值的偏差来衡量每个答案的"优势值"。一个答案比平均值高，就说明它更好，会被鼓励；比平均值低，就说明它更差，会被惩罚。

如果把微反思轨迹直接混入原来的答案组里，麻烦就来了。微反思轨迹的正确率通常比原始答案高（因为它经过了显式纠错），这会把整个组的平均奖励拉高。一旦平均值升高，原来那些错误答案的"优势值"会变得更负，也就是受到更强的惩罚。而错误答案往往比正确答案更长（因为走了弯路），这就相当于间接惩罚了"答案更长"这件事，让AI变得越来越倾向于给出短答案。短答案意味着减少探索、降低思维多样性，最终会导致AI能力的退化和崩溃。

研究团队的解决方案叫**解耦优势估计**（Decoupled Advantage Estimation，DAE）。具体做法是：给每道题的原始答案和构建的微反思轨迹分别打上不同的"小组编号"，系统在计算优势值时，原始答案组自己内部比较，微反思轨迹组自己内部比较，两组互不干扰。这样，微反思轨迹提供的是纯粹的"增量学习信号"，不会扭曲原始GRPO训练的动力学。

在微反思轨迹组内部，同样保留了正确轨迹和错误轨迹的对比结构。那些经过纠错仍然算错了的轨迹，作为"负样本"留在组内，帮助系统区分哪些纠错尝试是真正有效的、哪些纠错尝试依然失败。这种内部对比结构，使得AI不只是被告知"这条纠错路径是好的"，而是被训练去辨别"有效纠错"和"无效纠错"之间的本质差异。

第二个陷阱叫**分布漂移**（distribution shift）。微反思轨迹虽然大部分来自AI自己的推理，但在"等等，我刚才犯了一个错误"这类认知过渡的地方，AI可能会生成一些在正常推理中从未出现过的语言表达。这些词汇或句式对AI来说相当于"外星语言"，强行让它学习这些内容，会引入不稳定的梯度信号，干扰训练。

应对这个问题的机制叫**OOD词元抑制**（OOD Token Suppression，OTS，其中OOD是"出分布"的缩写）。对于每一个词，系统会计算一个分数：这个词在当前上下文下，AI自然生成它的可能性有多大，同时AI此时的思维不确定性有多高。如果一个词对AI来说非常自然（分数接近零），它在训练中的权重保持正常；如果一个词对AI来说非常陌生（分数远低于零），它的权重会被自动压低，降低这个词对模型参数更新的影响。这相当于在处理微反思轨迹时，系统会自动标记出"这几个词是认知过渡词，可能有点奇怪，学习它们时别太用力"，从而保护训练稳定性。

这个机制和一个叫做"分布判别理论"（DDT）的研究工作有理论上的渊源，但DDT在整条答案的层面做判断（要么整个答案纳入训练，要么整个扔掉），而OTS在单个词的层面做精细调节，更加灵活，不会因为几个奇怪的词就抛弃整条有价值的微反思轨迹。

五、训练前先"打基础"：冷启动阶段

在正式开始强化学习训练之前，研究团队还做了一个重要的准备步骤，叫做**冷启动**（Cold-Start）阶段。

基础模型Qwen3-8B-Instruct在正常状态下，并不擅长按照特定格式（比如用特定的XML标签包裹分析内容和修正内容）来输出结果，也没有显式分析自己错误的习惯。如果直接开始强化学习训练，AI生成的微反思轨迹质量会很差，充满"外星语言"，OTS机制会不得不抑制大量词元，学习信号所剩无几。

为此，研究团队用约40,000道数学题（来自DeepScaleR数据集）构建了45,000条训练样本。其中30,000条是标准的监督学习格式，15,000条是指令跟随格式。训练3个轮次后，AI初步掌握了"分析错误并按格式输出纠正轨迹"的基本能力。这个冷启动模型作为所有后续强化学习实验的起点。

后续的分析证明，冷启动至关重要。有了冷启动的模型，OTS的平均权重在整个训练过程中始终保持在接近1.0的水平，意味着几乎所有构建的词元都是"自然的"，不需要额外抑制。而没有冷启动的模型，OTS权重会持续下滑到0.95左右，说明分布偏离在不断累积，学习效率大打折扣。

六、实验结果：数学竞赛题上的实际表现

研究团队用8B参数规模的Qwen3-8B-Instruct作为基础模型，在三个顶级数学竞赛题库上进行了全面测试。

在有冷启动的设置下，TAPO在三个榜单上均优于对比方法。在AIME 2024上，TAPO的单次通过率（Pass@1，也就是一次就答对的概率）达到62.50%，比同样有冷启动的GRPO高出约9.58个百分点，比OPSD高出约4.79个百分点。在AIME 2025上，TAPO与GRPO持平于46.88%，但比OPSD高出约3.55个百分点。在最难的HMMT 2025上，TAPO以31.46%的Pass@1领先GRPO约2.71个百分点、领先OPSD约7.29个百分点。

值得关注的是，Pass@5的改善同样稳定——Pass@5衡量的是"给5次机会，至少有一次答对"的概率，反映了模型的整体探索能力。TAPO在所有三个榜单的Pass@5上均排名最高，说明其能力提升是真实的、全面的，而非在某个单一生成路径上的偶然改善。

在没有冷启动的设置下，结果更加微妙。没有冷启动的TAPO在AIME 2024上表现最好，Pass@1达63.12%，但在AIME 2025和HMMT 2025上略输给GRPO，差距分别约为0.83和2.29个百分点。这与OTS权重分析的结论完全一致：没有冷启动，AI生成的微反思轨迹质量较低，OTS不得不压制更多词元，可用的学习信号减少，在更难的题目上表现不足。

七、AI是真的"学会了"，还是只是在"装模作样"？

研究团队最担心的一个问题是：TAPO训练出来的AI，是真的内化了纠错能力，还是只学会了在表面上写一些"等等，我好像出错了"之类的套话，而实际推理能力并没有真正提升？

为了回答这个问题，研究团队设计了两个专门的评估指标，并请了一个更强大的AI（Qwen3-235B-A22B）来担任裁判，对答案进行逐条分析。

第一个指标叫**直接解题率**（Direct Solution Rate，DSR）。这个指标统计的是：在所有答对的题目中，有多少是AI第一步就推理正确、完全没有经历任何中途反思或自我纠正就直接得到正确答案的。DSR越高，说明AI的"基础推理能力"越强——它不需要靠纠错来弥补，本来就做对了。

第二个指标叫**有效反思率**（Effective Reflection Rate，ERR）。这个指标统计的是：在所有包含自我反思和纠错尝试的答案中，有多少次反思是真正有效的——既找到了具体的错误，也给出了准确的诊断，最终得到了正确答案。ERR越高，说明AI的"纠错能力"越强。

测试结果令人振奋。对比有冷启动的GRPO和有冷启动的TAPO，在DSR上，TAPO在三个榜单上分别高出约13.5、15.9和22.3个百分点——也就是说，TAPO训练的AI在"第一步就做对"的概率上远高于GRPO。这个发现意义重大，因为DSR衡量的正是那些不需要任何纠错的答案，它直接反映了基础推理能力。训练微反思轨迹，不仅提升了纠错能力，还顺带大幅提升了初始推理的质量。

研究团队对此提出了两种解释机制。一方面，学习如何识别和纠正常见的错误类型，会让AI在推理时自然而然地更加小心，提前规避那些容易犯的错误，从而直接提高第一次就做对的概率。另一方面，微反思轨迹保留了正确推理的前缀，通过训练这些前缀和正确后续的配对，AI学会了如何更可靠地延续有效的推理链条。

在ERR上，TAPO同样优于GRPO，AIME 2024上高出约11.4个百分点，AIME 2025和HMMT 2025上各高出约4.8和3.0个百分点。这意味着，当TAPO训练的AI确实进行自我反思时，这种反思更多是有实质意义的，而不是在走过场。

八、关键设计选择的严格验证

研究团队通过一系列受控消融实验，逐一验证了TAPO每个设计选择的必要性。

在微反思设计本身的验证上，研究团队设置了一个对照实验：把"保留错误前缀、只从错误点开始修正"替换成"整个答案推倒重来、全部重新生成"，也就是"完整重建"方案。结果显示，完整重建在所有三个榜单上都不如微反思设计，Pass@1差距从约1.87到约4.38个百分点不等。这验证了"保留学习者的原始推理前缀"这个设计选择的重要性——前缀保存了AI当前的认知习惯，强行替换会引入太大的分布差异，降低学习效率。

在"强化学习还是监督学习"的对比上，研究团队把同样的微反思轨迹数据用监督学习（SFT）的方式训练，发现效果远差于TAPO的强化学习方式，甚至比不上冷启动基准模型。这说明关键不只是有微反思数据，还需要通过强化学习中的"对比优势估计"来让AI学会区分有效纠错和无效纠错。监督学习对所有词元一视同仁，无法传递这种对比信号。

在解耦优势估计的验证上，去掉DAE会导致多个榜单上的性能下降，并且这种下降在与"去掉负样本"联合出现时尤为严重。当没有负样本（即只有成功的纠错轨迹，没有失败的纠错轨迹）时，微反思组的平均奖励被人为拉高，导致原始答案中正确答案的优势值被压低，引发优势污染效应，最终造成性能退化。负样本和DAE需要配合使用，才能形成正确的梯度信号。

在OOD词元抑制的验证上，去掉OTS会在所有榜单上造成一定程度的性能下降，在HMMT 2025上最为明显，因为更难的题目产生的微反思轨迹更长，分布偏离的词元有更多机会出现。

九、训练过程的"健康体检"

研究团队还对整个训练过程进行了细致的动态监控，形成了六张分析图，从六个不同维度验证了TAPO的训练健康状况。

OTS权重的走势已经在前面提到：有冷启动的TAPO几乎稳定在1.0附近，无冷启动的TAPO逐渐下滑到0.95，两者之间的持续差异清晰地展示了冷启动的必要性。

在训练稳定性上，TAPO和GRPO的策略梯度损失（一个衡量训练是否平稳的指标）都保持在较低水平，而OPSD（自蒸馏方法）的损失最高、波动最大，说明自蒸馏方法在训练过程中更容易引入不稳定的梯度。

在梯度范数上，TAPO保持最低的梯度范数，OPSD最高。较低的梯度范数意味着优化地形更平滑，参数更新更加稳健，不容易出现大幅震荡。

在响应长度上，所有方法的答案长度都在训练过程中逐渐增加（这是AI思考更深入的标志），但OPSD的增长最为剧烈，可能反映了其训练目标推动AI生成越来越长的内容，存在"长度膨胀"风险；TAPO和GRPO的增长则更为温和和可控。

在KL散度（衡量AI当前思维模式和初始思维模式的偏离程度）上，有冷启动的TAPO与GRPO持平，都维持在相当低的水平；而无冷启动的TAPO的KL散度急剧上升，几乎是有冷启动版本的数量级倍数。这再次有力说明：没有冷启动，AI在训练中被迫向一个和自己初始状态相去甚远的方向移动，稳定性和效率都会大幅下降。

归根结底，TAPO这套方法的价值在于它改变了AI学习错误的根本方式。过去，AI的错误是被处理掉的；现在，AI的错误成了最有价值的训练材料。把错误保留下来，分析它，然后从错误的起点出发，走出一条正确的路——这不只是一种更聪明的AI训练方式，更是一种更接近人类真实学习规律的思路。

从实际影响来看，这项研究意味着我们可以用更少的训练成本，让AI在数学推理等高难度任务上获得更强的能力。更重要的是，它训练的AI不只是"在正确时正确"，更是"在出错时能识别出错、并知道从哪里开始纠正"，这种能力对于现实世界中复杂问题的处理至关重要。

一个自然延伸出的问题是：这种方法能不能推广到数学以外的领域，比如代码编写、逻辑推理、甚至日常语言理解？目前研究团队的实验仅限于数学竞赛题目，未来是否能在更广泛的任务类型上复现同样的效果，是一个值得深入探索的方向。另一个有趣的问题是：随着AI越来越强，"最近发展区"的边界也会不断前移，这套自动课程机制能支撑AI成长到什么程度？这些都是研究者和感兴趣的读者可以进一步思考的问题。有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.18844查阅完整论文。

Q&A

Q1：TAPO方法和普通GRPO训练相比，推理能力到底提升了多少？

A：在有冷启动的设置下，TAPO在AIME 2024上单次通过率达62.50%，比GRPO高约9.58个百分点；在HMMT 2025上达31.46%，比GRPO高约2.71个百分点。不仅如此，TAPO训练的模型"第一步就做对"的比例（直接解题率DSR）比GRPO高出13到22个百分点，说明提升的不只是纠错能力，整体推理质量也大幅改善。

Q2：TAPO方法需要额外的推理时间或特殊的解题格式吗？

A：不需要。TAPO的微反思轨迹构建只在训练阶段使用，正式推理时TAPO模型和普通模型完全一样，只需要一次正常生成，不需要任何特殊提示词、多轮对话或显式的反思步骤。训练时多花的时间，换来了推理时更强的内置能力。

Q3：为什么TAPO训练前要有冷启动阶段，直接训练会怎样？

A：没有冷启动，模型不熟悉微反思轨迹的构建格式，生成的纠错内容质量差，充满模型不熟悉的表达方式。OOD词元抑制机制会不得不压制大量训练信号，有效学习信息大幅减少。实验显示，无冷启动的TAPO在难度更高的AIME 2025和HMMT 2025上表现不如GRPO，而有冷启动的TAPO则在三个榜单上全面领先。