小模型能不能继承大模型训练出来的本事，还是说非得自己重新练一遍？

先说一件挺反直觉的事。

按照常识，一个模型要变聪明，靠谱的路子是让它自己去做题、去试错、去被强化学习一巴掌一巴掌打醒。但这篇论文告诉你,一个花大量算力训练出来的强化学习专家,它身上的本事,竟然可以几乎原封不动地转移到一个从没经历过这些训练的模型身上,而且转移过去之后,接收本事的那个模型,表现还能超过教它的那个模型。

这听起来有点像武侠小说里的"渡功"。一个练了几十年的高手,把一身内力直接灌给一个刚入门的新人,结果新人比师父还厉害。现实中这显然不可能,但在大语言模型的世界里,研究者们发现这条路径真的走通了,而且走通的程度和速度,居然可以用数学公式提前算出来。

这篇论文做的事情,就是把这条"渡功"的路子摸清楚:什么时候有效、能传多少、传多快、传给谁效果最好。

强化学习练出来的本事,怎么才能不浪费

先说清楚问题出在哪。

现在很多推理能力强的大模型,靠的是强化学习训练出来的。

*强化学习*：一种让模型通过不断尝试、根据结果好坏调整自己的训练方式，类似于通过做题对答案来提升解题能力

问题是,强化学习这个过程很贵。你想让0.5B(5亿参数)、1.5B、3B、7B、14B这五种规模的模型都具备数学推理能力,难道要把强化学习这一整套流程在每个规模上都跑一遍?这就像是你想让全家五个人都学会开车,结果每个人都要单独报一次驾校,交五份学费,上五遍课。

有没有办法,只在一个人身上练成,然后把"怎么开车"这件事直接传给剩下四个人?

答案是有的,这就是on-policy distillation(在线策略蒸馏)要解决的问题。

*on-policy distillation(OPD)*：让一个训练好的教师模型,针对学生模型自己生成的答案,逐词给出反馈和打分,而不是要求学生死记硬背教师的答案

这里有个关键区别要说清楚。传统的知识蒸馏,更像是给学生一份标准答案,让他去背。但OPD不是这样,它让学生自己先写一遍答案,教师再来逐字逐句地点评"这个词写得好不好",学生根据点评调整自己的下一步动作。

这就好比学写作文。如果老师直接把范文甩给你,让你逐字抄一遍,你可能学到的只是照葫芦画瓢,换个题目就写不出来了。但如果让你自己先写一版,老师再在你写的这一版上圈点批注,告诉你哪句话用词不准、哪个逻辑跳得太快,你学到的是真正的写作判断力,而不是死记硬背。如果这篇论文采用的是前一种死记硬背式的蒸馏,会发生什么?后文会告诉你,答案很惨:效果掉了将近30个百分点。

KL散度这个尺子,量出了训练进程的真实刻度

研究者观察了25组不同规模教师和学生的组合,横跨"弱教强"、"同源"、"强教弱"三种配置,发现了一个特别规律的现象。

*KL散度*：衡量两个概率分布之间差异程度的一种数学工具，这里用来衡量学生模型当前状态和它最初状态之间"走了多远"

研究者没有用训练步数或者训练时间来衡量进度,而是用了一个叫做d的指标,它是KL散度的平方根,代表学生模型偏离自己出发点的"距离"。结果发现,在训练刚开始的一段时间里,学生模型在held-out测试集上的准确率(论文里叫gold score,金分)几乎是随着d线性上升的。

*gold score*：模型在完全没见过的测试题目上的实际准确率，用来衡量模型的真实能力而不是训练过程中的表面指标

这件事说白了就是,只要你知道学生模型"偏离起点多远",你几乎能直接算出它现在考试能考多少分,这个关系在训练初期精确到近乎一条直线。这就像跑步机上跑步,只要知道你跑了多少公里,心率大概能推算出来,前提是你还没进入疲劳期。

但这条直线不会永远直下去。过了一个临界点(论文管它叫dtransfer,转移终点),曲线就开始变得不听话,有的继续涨但涨得慢了(衰减增益),有的直接不涨了(饱和),还有的开始往下掉(回归)。

最惨的回归发生在最弱的教师身上。数据显示,在每一个面板里,最小的那个教师模型,教出来的学生后期几乎必然掉分,而且掉得最狠。研究者进一步查证发现,这时候教师给的"隐式奖励"其实还在持续上升,也就是说学生依然在拼命迎合教师的打分标准,只是这个标准已经开始和真实能力脱钩了。这是一种典型的"优化目标和真实目标产生裂缝"的现象,某种程度上类似于考试刷题刷多了,应试技巧越来越强,但真正解决新问题的能力反而下降。

弱的老师也能教出比自己强的学生

这篇论文里最让人意外的发现之一是:在所有观察到的"弱教强"配对里,学生的巅峰成绩全部超过了它自己的老师。

这不是个例,是每一个案例都成立。换句话说,一个只有0.5B参数、自身能力有限的强化学习专家,教出来的14B学生,最终表现可以远远甩开这个0.5B老师本身的水平。用论文里的实际数字说,14B学生在不同教师规模下的巅峰准确率从77.7%一路涨到87.3%。

这多少推翻了一种朴素的直觉,教得好不好取决于老师自己有多厉害。但这里的关键在于,OPD训练不是让学生模仿老师的答案,而是让老师给学生自己生成的内容打分纠偏。学生本身的参数量更大,知识储备更丰富,它欠缺的只是"怎么把现有知识用在这类题目上"的策略,而这恰恰是弱教师能够提供的。

这就像一个技艺精湛但视力已经退化的老工匠,带一个视力极好、体力充沛但没什么经验的年轻学徒。老工匠未必能亲手做出比年轻人更精细的活,但他能一针一线地指出年轻人哪里下手轻了、哪里角度错了。如果不让老工匠参与纠偏,只让年轻人自己瞎练,会发生什么?论文里有个直接对照:纯粹靠自己做强化学习(不借助任何外部教师),14B模型最终成绩也就在这个区间附近,但过程要昂贵得多,要从头把整套强化学习流程在14B上跑一次。

能不能提前算出这次蒸馏能练出什么水平

这是全文最硬核也最实用的部分。研究者试图回答一个问题:在真正开始训练之前，能不能只凭"学生多大、老师多大、老师考多少分"这三个数字,就预测出最终训练出来的学生大概能到什么水平?

答案是可以,而且精度相当高。

研究者拟合出了一套幂律公式。对于Vanilla-OPD(基础版蒸馏方法),巅峰错误率(1减去巅峰准确率)大致等于学生规模的负0.30次方,乘以有效教师规模的负0.27次方,再乘以教师剩余错误率的0.95次方。

*幂律*：一种数学关系，形式是y等于x的某个固定次方，在物理学和社会科学的很多规律里都会出现，比如城市人口和数量的关系

这个公式里最耐人寻味的是那个负的0.27次方。它意味着,在教师打分水平相同的前提下,规模更小的教师反而传得更好。这打破了另一层直觉,你可能会觉得,只要老师考分一样高,大小无所谓。但事实不是这样。研究者专门设计了一个验证实验:用一个刚训练到一半、考分66.0的3B教师检查点,和一个已经训练完毕、考分63.6的1.5B教师去对比教同一个7B学生。结果3B教师即便考分更高,教出来的学生反而比1.5B教师教出来的更差(73.8分对77.5分),只有这套联合公式准确预测出了这个反直觉的排序,单看规模或单看考分的模型都预测错了方向。

为什么会这样?论文给出的解释是,巅峰学生的错误率几乎和"封顶后的教师剩余错误率"成正比。这里有个关键设计:研究者把教师规模在计算时"封顶"在学生规模,也就是说超过学生规模的教师部分不再计入,因为观察数据显示教师规模超过学生后,继续增大教师反而可能拖累效果。

这种"教师能力超过某个阈值就开始拖累学生"的现象,有点像请家教。孩子读小学,你请个博士来教加减法,未必比请个大学生教得好,因为博士给出的讲解方式、思维跳跃的幅度,可能已经超出了孩子当前能吸收的范围。如果家长执意认为"学历越高越好",不断升级家教的学历,超过某个点之后,孩子的成绩反而可能停滞甚至下滑。

这套预测公式的实用价值不小。研究者做了留一法验证(每次故意藏起某个规模的数据,用剩下的数据去预测藏起来的那部分),联合公式预测最大规模学生和教师时的误差,分别只有0.55和0.68个百分点,比只看规模不看考分的版本误差小了一大截(那个版本误差高达3.43个百分点)。

Delta-OPD:换一种打分方式,效果会不一样吗

除了基础版的Vanilla-OPD,研究者还测试了另一种打分机制,叫Delta-OPD。

*Delta-OPD*：不直接用教师模型本身的输出打分，而是用教师在强化学习训练前后的"变化量"来打分，聚焦于教师真正学到的那部分新东西

这个设计思路挺聪明。教师模型在强化学习之前是个什么样子,训练之后又变成什么样子,这一前一后的差异,才是强化学习真正"教"给它的东西。Delta-OPD把这个差异单独提取出来,当作给学生的奖励信号,而不是把教师全部的知识(包括那些训练前就已经具备的部分)一股脑传过去。

对比结果显示,在17组共同测试的配对里,Delta-OPD在15组里取得了更大的局部增益斜率,在12组里取得了更大的最终巅峰增益。这个优势在"弱教强"的配对里最明显,10组弱教强配对里有9组Delta-OPD占优。而且教师规模越小,这个优势越大,用最小的0.5B教师时,Delta-OPD能多出2到4个百分点的巅峰成绩。

这说明什么?说明当教师本身能力有限时,把"教师真正进步的那部分"精确提炼出来教给学生,比把教师整体的输出笼统地喂给学生,效率更高。

提前让学生"背答案"这件事,后患无穷

论文里有一个特别值得展开讲的发现:如果在正式的OPD训练之前,先让学生做一轮"冷启动"(即用教师生成的答案做一次监督微调,类似于先照抄一遍范文),后面的OPD效果反而会被严重拖累。

*冷启动*：在正式的在线训练开始前，先用一批现成的离线数据对模型做一次预热训练，目的通常是让模型的输出风格先和目标对齐

数据非常直观:用0.5B的专家教3B、7B、14B学生,如果先做一轮冷启动,分别会白白损失6.6、15.7、19.4个百分点的最终成绩。而且这个损失随着"弱教强"的差距拉大而加剧,教师越弱、学生越强,冷启动造成的伤害就越大。

原因很直接。一轮针对0.5B专家输出的监督微调,会把14B学生的初始状态硬生生拉低到接近0.5B教师自己的水平,直接抹掉了14B学生初始化时32个百分点的优势。这就像一个本来能打职业联赛的运动员,教练非要他先花一个月完全模仿业余爱好者的动作习惯,结果这一个月练下来,原本的身体素质优势被生生磨掉了一大截,后面再怎么纠正都很难完全恢复。

论文还测试了纯粹的离线蒸馏(OffPD,完全照抄教师输出,不做任何在线互动),效果同样很差,在极端的弱教强场景里比正常的OPD低了28.4个百分点。这三组对比放在一起看,结论其实很一致:越是想让弱教师教出强学生,越不能让学生提前被教师的具体输出方式"污染"。

一步步接力传递,反而不如直接拜师

还有一个反直觉的结果值得单独说一说。

研究者设想,如果不是让0.5B教师直接教14B学生,而是先教1.5B,再让训练好的1.5B去教3B,再让3B教7B,一路接力传到14B,会不会比直接从0.5B教到14B效果更好?

*bootstrapping(自举式训练链)*：通过多级接力的方式逐步提升模型规模，每一级都用上一级训练出的模型作为下一级的教师

结果是,接力链条训练出来的学生,成绩全部低于直接从0.5B专家那里学的学生。而且链条越长,最终成绩反而越低一点。更让人意外的是,这个1.5B中间模型自己的考分是53.0%,远高于最初的0.5B强化学习专家的39.8%,但用这个"更厉害"的1.5B去教3B,效果反而比不上直接用"更弱"的0.5B去教3B。

这再次证明了论文反复强调的那句话:教师的考分高,不代表它的教学价值高。它有没有新东西可以教给学生,才是关键。接力链条里的中间教师,本质上是用OPD从上一级"蒸"出来的,它掌握的知识很大程度上已经是从更小的模型那里继承来的,没有真正超出原始0.5B专家的信息边界,却因为多了一层蒸馏,反而可能丢失了一些细节。这就像传话游戏,一句话经过三四个人转述之后,内容看似经过了多次"加工润色",但实际信息量反而衰减了,不如直接听最初那个人说。

这套研究,到底在回答一个什么级别的问题

把所有线索串起来看,这篇论文其实是在回答一个对整个行业都很实际的问题:当你手上有一个模型家族,横跨从5亿到140亿参数五个规模,你要不要每个规模都花钱做一次完整的强化学习?

论文给出的答案是不需要。你可以只在一个小规模上花钱做强化学习,练出一个专家,然后通过OPD,几乎可以预测性地把这个专家的能力铺到整个模型家族上,而且规模越大的学生,接收效果往往越好。这对于降低训练成本的意义是直接的,相当于原本需要交五份驾校学费,现在可能只需要交一份,剩下四个人通过一种特殊的陪练方式就能学会。

当然论文也没有回避局限。整套实验只在一个模型家族(Qwen2.5)、一种任务类型(数学推理)上验证过,换一个任务领域或者换一个模型架构,这些幂律公式的具体系数很可能不一样。而且每个配置只跑了一次,没有做多次随机种子的重复实验,统计上的稳健性还有待进一步检验。

写在后面

读完这篇论文,最让我意外的不是"小模型能教大模型"这件事本身,这个方向其实前人已经有过探索。真正让我停下来重新想一遍的是,这种能力转移居然可以被KL散度这样一个抽象的数学量精确刻画,而且这个刻画在训练早期能做到近乎线性,误差小到可以忽略。这意味着模型的能力提升,在某个阶段真的可以被当作一个可测量、可预测的物理过程,而不是黑箱里的运气。

论文里那个"接力传递反而更差"的结果,我反复琢磨了很久。它其实在暗示一件更深的事:知识在模型之间传递,并不是信息的简单复制,每一次蒸馏都是一次带损耗的重新编码。一个模型真正学到的,和它表现出来的分数,可能不是同一件事。这和我们平时评价一个老师"教得好不好"时容易犯的错误很像,我们习惯用老师自己的水平去判断他的教学能力,但这篇论文用扎实的实验数据提醒你,这个判断标准本身就可能是错的。

如果这套规律能在更多任务、更多模型家族上被验证,那它可能会改变整个行业分配训练预算的方式:不再是每个规模烧一遍算力,而是把宝贵的强化学习资源集中在一个小模型身上,剩下的交给一套可预测的转移公式。这听起来像是把一件昂贵的事,变成了一件可以被提前算清楚成本和收益的事。

Q&A

Q1：on-policy distillation是什么？

A：一种让强化学习训练出的教师模型对学生模型自己生成的答案逐词打分纠偏的方法，学生不需要死记硬背教师的答案，而是学习教师的判断标准，因此能更好地把能力迁移过去。

Q2：为什么规模更小的教师反而能教出更好的学生？

A：论文发现在教师考分相同的情况下，规模更小的教师转移效果更好，因为教师规模超过学生规模后继续增大会拖累效果，出现类似"请学历过高的家教教孩子加减法"的情况，讲解方式超出了学生能吸收的范围。

Q3：接力式一步步传递训练效果好吗？

A：不好。实验显示用0.5B、1.5B、3B、7B逐级接力训练到14B，最终效果全部低于直接用最初的0.5B专家教14B学生，说明教师考分高不代表教学价值高，接力过程中真正有用的信息反而可能衰减。