训练大模型做数学题，花掉的训练步数能少到什么程度？

先说一个让人意外的数字。有团队训练一个90亿参数的大模型做数学推理，正常方法要跑1500步才能达到最佳效果，用了8个多小时的GPU时间。而他们找到一种新办法，只用150步就超过了那个最佳效果，训练时间压缩到几分钟。

这不是夸张的宣传语，是2027年ICLR会议上一篇论文里实打实的实验数据。少掉的不是一点点，是十倍以上的训练量。

这件事为什么重要？你得先知道现在大模型训练的套路是什么样的。

堆数据的套路，正在撞墙

过去几年，想让大模型学会推理，办法基本上就一个：找一个很强的"老师"模型，让它生成大量解题过程，然后拿这些数据去训练"学生"模型，让学生模仿老师的思路。这个过程叫知识蒸馏。

知识蒸馏：用一个强大的教师模型生成高质量的解题过程，训练一个相对较小的学生模型去模仿，从而让学生模型获得接近教师的能力。

这套路听起来没毛病，数据越多，学生学得应该越好。但问题是，数据量上去了，训练成本跟着指数级往上涨，效果却没有同步提升。打个比方，这就像是给学生布置一万道一模一样难度、一模一样套路的练习题，学生做到第五千道的时候，边际收益已经趋近于零，但你还是要花时间批改剩下的五千道。

论文作者提出一个很直接的问题：这些解题过程里，到底有多少是真正值得学的？

答案可能让人意外。研究者观察到一个现象：即便是老师给出的、置信度特别高、答案也完全正确的解题过程，内部也可能藏着"脆弱"的推理环节。具体数据是这样的，在老师模型信心最高的前5%解题过程里，有18.1%其实落在了全局不确定性最高的那10%区间里。换句话说，看起来很靠谱的答案，可能只是蒙对了，中间推理步骤其实摇摇欲坠。

这就好比一个学生考试拿了满分，但你去问他解题思路，发现有好几步他其实是靠猜的，只是运气好猜对了。表面上这份答卷没有任何问题，但它教不会别人真正的解题能力，因为它本身就没有稳固的逻辑支撑。

推理路径上的"分岔口"

论文的核心想法是，一段推理过程不是从头到尾均匀重要的。它更像一条有很多岔路口的山路，大部分路段走哪条都差不多，但某几个节点是真正的分水岭，走错一步就会导向完全不同的结局。作者把这种节点叫做"推理分岔点"。

这个想法要怎么验证？研究者设计了一套叫做蒙特卡洛推理树的方法。

蒙特卡洛推理树（MCRT）：在一段解题过程的每个中间步骤上，让模型从这个节点出发，多次独立地往下继续推理，看看这些不同的后续路径最后能不能都导向正确答案。如果同一个起点出发的多条路径，有的对有的错，说明这个节点本身就是不稳定的，是个"分岔点"。

这里的关键数学工具是一个很朴素的统计量。研究者在每个中间推理状态上采样K次独立的后续推理，统计有多少次最终答案是对的，得到一个"正确率"。然后用一个公式把这个正确率转换成"不确定性"分数：如果正确率是50%，说明这个节点极度不稳定（走下去一半对一半错），不确定性拉满；如果正确率是100%或0%，说明这个节点很稳（要么稳稳对，要么稳稳错），不确定性为零。

这个逻辑其实很符合直觉。想象你在教一个新手开车，路上有一段笔直的大路，怎么开都不会出事，这段路练一百遍意义不大。但有一个急转弯路口，稍微打早或打晚方向盘就可能撞护栏，这个路口才是真正需要反复练习、反复强调的地方。如果教练把所有时间平均分配在直路和急转弯上，学生学车的效率显然是被浪费了。如果不做这种区分，就会出现论文开头提到的情况，看着正确、看着自信的答案，实际上内部全是没打磨过的急转弯，一换个场景就翻车。

论文还给出了另一组数据支撑这个判断：所有验证正确的解题过程里，有30.5%恰好落在全局不确定性最高的10%区间里。这意味着接近三分之一"看起来没问题"的正确答案，其实走的是一条危险的推理路径，只是这次没出事而已。

两道筛子：先筛教师，再筛学生

找到了"分岔点"这个信号之后，研究者没有止步于筛选数据，而是设计了一套两阶段的"收缩"流程，一步步把海量的训练数据压缩到极小的核心集合。

第一道筛子叫教师侧不确定性收缩。具体做法是，把每一条教师生成的解题过程都用前面说的蒙特卡洛树方法打一个平均不确定性分数，分数越高，说明这条推理路径上藏的"分岔点"越多，越值得学。然后按这个分数排序，只留下一小部分比例（比如1%到30%）的高分数据，组成一个压缩过的候选题库。

这一步完全不需要碰模型内部的参数或者梯度，只需要观察模型生成的文本和最终答案对不对。这意味着即便教师模型是一个只能通过接口调用、完全看不到内部结构的黑箱模型，这套方法照样能用。

黑箱模型：指那些无法访问内部参数、梯度、注意力权重等信息，只能通过输入输出进行交互的模型，常见于需要付费调用接口的商业大模型。

论文作者特意测试了这一点，用DeepSeek-V4-Pro和Kimi-K2.6这两个商业接口模型当老师，效果同样有效，某些指标提升超过13%。这说明这套不确定性识别方法不依赖对模型内部的理解，纯粹靠"观察行为"就能判断一条推理路径值不值得学。

第一道筛子筛出来的题库，是针对老师的，和具体哪个学生模型无关。但问题是，不同学生的薄弱环节不一样。同一份压缩题库，对A学生来说可能已经游刃有余，对B学生来说可能还有难点没掌握。这就引出了第二道筛子。

第二道筛子叫学习者感知路由，在正式训练过程中动态进行。做法是，先让学生模型过一遍第一道筛子筛出来的题库，记录每道题训练时的损失值，也就是模型对这道题掌握得好不好的量化指标。损失值越高，说明这道题学生还没吃透，越应该被优先安排继续训练。接着只挑损失值最高的一批题目组成一个更小的"活跃训练集"，后续的训练只在这个活跃集合上反复进行，而且这个集合会随着训练推进不断更新。

这就好比一个家教老师，先按照"这道题有没有陷阱"筛出一批值得讲的题，然后再根据具体这个学生做错了哪些题，动态调整每天重点辅导的内容，而不是把整套题库从头到尾不分主次地讲一遍。如果没有这第二道筛子，就算题库本身质量很高，也会出现"老师讲得很用心，但讲的内容学生早就会了"的浪费，训练效率照样上不去。

省下来的到底有多少

把这套方法落实到数字上，效果非常直观。论文用一个90亿参数的Qwen3.5模型做学生，在完整数据集上跑标准训练（SFT，全称有监督微调，指用标注好的数据对预训练模型做进一步训练使其适应特定任务）需要9.23小时的GPU时间，而用这套两阶段收缩方法，训练时间压缩到0.01到0.07小时，只用了原来0.22%到1.91%的计算预算。

更让人意外的是，省下训练量的同时，效果不但没降，反而在多个数学竞赛和科学推理基准测试上超过了完整训练的版本。比如在AIME24这个竞赛数学测试集上，完整训练的90亿模型得分是90.0，用1%数据收缩训练的版本反而拿到90.0甚至更高，在一些更难的测试集比如HMMT26上，收缩训练版本的得分从63.6提升到了78.8，提升幅度相当可观。

这个结果乍一看有点反直觉，用更少的数据训练，效果反而更好？但仔细想想又合理，因为被筛掉的大部分数据本身就是"重复的直路"，留下的都是"真正的急转弯"，训练效率自然更高。这就像是一个学生如果把时间都花在刷简单重复题上，他可能永远练不到真正提分的那几类题型，而如果把同样的时间集中在那几类高价值题型上，分数反而能冲得更高。

这套方法在跨模型家族的泛化能力上也经受住了测试。研究者用同一个Qwen3-8B模型当老师，去教完全不同架构的学生模型，包括Gemma、LLaMA和Mistral系列，训练预算压缩了超过99.6%，效果依然保持或提升。这说明从老师那里提取出来的"哪些推理路径值得学"这个信号，是具有普适性的，不绑定在某个特定的学生模型结构上。

论文里还有一个更有意思的实验，叫做"以弱教强"。正常认知里，老师应该比学生更强，才有资格去教。但研究者故意用一个只有17亿参数的小模型当老师，去教一个90亿参数、规模大得多的学生模型。结果这个"小老师"依然能帮大学生模型提升表现，在AIME25测试集上涨了14.4个百分点，而且只花了不到0.1个GPU小时。这个结果说明，监督信号的价值不完全取决于老师本身有多强，而取决于这些推理路径上的不确定性结构能不能被准确识别出来。哪怕老师自己水平有限，只要它生成的某些推理过程恰好踩中了学生的薄弱分岔点，这些路径对学生来说依然是宝贵的。

最后，研究者把这个压缩训练出来的90亿参数模型，拿去和参数量大得多的模型对比，包括300亿到6710亿参数不等的各类推理模型。结果显示，这个90亿参数的小模型在多个基准上的表现，能和那些体量大十倍到几十倍的模型掰手腕，甚至在部分测试上更胜一筹。这意味着这套方法带来的不只是训练省钱，它本身也在挖掘出模型能力的上限，让小模型具备和大模型competitive（一词删去，用中文对应表达）竞争的实力。

两道筛子各自的功劳

研究者还单独做了拆解实验，想看看不确定性筛选和学习者路由这两道筛子，到底各自贡献了多少。

结果显示，单独用不确定性筛选，不加路由，相比随机挑选同样数量的数据，平均准确率能提升1.6到4.5个百分点。单独用学习者路由，不加不确定性筛选，同样能带来明显提升。但把两者叠加起来用，效果是最好的，在某些测试集上的提升幅度能到十几个百分点。

这个结果印证了论文的核心设计逻辑：先从源头保证"喂进去的数据本身是有价值的"，再根据学生当下的学习状态，动态决定"接下来该重点练哪些"。两道筛子分别解决两个不同层面的问题，一个是数据本身的信息含量，一个是数据对当前这个学生的适配程度，缺一不可。

Q&A

Q1：这篇论文的核心方法叫什么，解决的是什么问题？

A：核心方法叫做不确定性引导的渐进收缩框架，解决的是大模型推理训练中数据量越堆越大、成本飙升但效果提升有限的问题，通过识别推理过程中真正关键的"分岔点"，把训练数据和训练步骤都大幅压缩。

Q2：用这套方法训练大模型，能省下多少训练成本？

A：论文实验显示，最极端情况下只需要完整训练0.22%的优化预算，训练步数减少超过450倍，一个90亿参数模型的训练时间能从9.23小时压缩到0.01小时左右，而且效果不降反升。

Q3：小模型当老师能不能教好更大的学生模型？

A：可以。论文做了"以弱教强"的实验，用17亿参数的小模型当老师去指导90亿参数的大学生模型，结果学生模型在竞赛数学测试AIME25上提升了14.4个百分点，说明监督信号的价值不完全取决于教师模型本身的规模。