微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 AI老师教AI学生,中间漏了一个关键步骤,现在有人把它找回来了

AI老师教AI学生,中间漏了一个关键步骤,现在有人把它找回来了

2026-11-20 14:11
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-20 14:11 • 科技行者

你有没有想过,一个学霸把自己的学习心得传授给学弟,到底该传授什么?

是直接告诉学弟"这道题最终应该这样做",还是把自己从不会到会的整个思考过程摆出来,让学弟看到自己是怎么一步步纠正错误的?

这听起来像个教育学问题,但它恰好是2026年这篇论文要解决的技术难题。

**大模型的知识蒸馏,最近几年一直在用第一种方式**

先说说背景。现在训练一个厉害的语言模型,很流行用强化学习来调教。你给模型一堆数学题或者编程题,让它自己尝试解答,答对了奖励,答错了惩罚,久而久之模型就变聪明了。

这个过程叫做RL

*RL:强化学习(Reinforcement Learning),一种通过奖励和惩罚让模型自主学习的训练方法,常用于让大模型在数学、代码等有明确对错标准的任务上变强*

问题是,RL训练特别烧钱。你得让模型反复生成答案,反复用验证器去检查对错,这个过程又慢又贵。那有没有办法走捷径?

有人想到:既然已经训练出一个经过RL打磨的"老师模型",能不能让它去教一个"学生模型",这样学生不用自己从头跑一遍昂贵的RL流程,也能学到老师的本事?

这就是知识蒸馏的思路,而这篇论文关注的是其中一种叫做"在线策略蒸馏"的具体做法。

*OPD:On-Policy Distillation,在线策略蒸馏,指的是让学生模型自己生成回答,然后用老师模型的判断去纠正学生在这些回答上的选择,而不是简单地让学生模仿老师写好的答案*

这里有个细节特别重要。早期的OPD方法,是拿RL训练完之后的"期末老师"(也就是训练好的最终模型)去给学生打分。但后来研究者发现,这样做学生学到的其实是老师的"绝对实力",包括老师本身的能力上限和局限性,这未必是学生真正需要的。

于是出现了一种更聪明的办法,叫Direct-OPD。它不看老师训练完之后有多强,而是看老师在RL训练前后发生了什么变化。拿老师训练前的样子(Initial)和训练后的样子(Final)做个对比,这个差值就是RL这个过程给老师带来的"进步",把这个进步直接喂给学生。

这就好比你不是去模仿一个数学家最终解题的样子,而是去学习他从新手到专家这个过程中,思维方式到底发生了什么转变。这个转变本身,可能比最终答案更有教学价值。

听起来很合理对吧?但论文作者发现了一个被忽略的漏洞。

**只看起点和终点,会漏掉中间发生的反转**

这里问题来了。你只记录了老师训练前和训练后的两个快照,中间发生了什么,你完全不知道。

想象你在跟踪一支股票的涨跌,你只记了年初的价格和年底的价格,算出来全年涨了10%。但这10%背后,可能是股票平稳上涨了整整一年,也可能是上半年暴跌50%、下半年又暴涨120%才勉强涨回来。这两种情况,给你传递的信息和风险信号完全不同,但如果只看首尾两个数字,你根本分辨不出来。

这个类比不是随便打的。它直接对应论文里的核心观察:同样的"终点减起点"的变化量,可能来自前后两段一致的、相互强化的进步,也可能来自前后两段方向相反、相互抵消的波动,但你看到的终点差值是一样的。

如果一个判断本身是"噪音抵消出来的巧合",而不是"稳定积累出来的真实进步",那把它当作教学信号喂给学生,效果自然会打折扣。

作者的直觉是,判断一个判断是否值得信赖,不能只看它最后的净变化量,还得看这个变化是不是"一路走来都在朝同一个方向使劲"。

于是他们想到了一个办法:在训练起点和终点之间,再找一个中间点,看看前半段的变化方向和后半段的变化方向是不是一致。如果一致,说明这个终点信号靠谱,可以大胆用。如果不一致(前面往东走,后面又往西走,最后勉强到达终点),说明这个信号的可信度存疑,应该适当打折甚至直接忽略。

这就是这篇论文提出的Waypoint-OPD方法的核心思想。

Waypoint-OPD:用一个路标点验证方向是否一致

*Waypoint-OPD:Waypoint-guided On-Policy Distillation,路标引导的在线策略蒸馏,核心是用RL训练过程中的一个中间检查点,去验证老师训练前后的变化是否方向一致,从而决定这个变化信号该被信任多少*

具体怎么做的?论文保留了同一次RL训练过程中的三个快照:训练开始前的Initial(初始老师)、训练到一半的Waypoint(路标老师,论文里用的是RL训练第600步)、以及训练结束的Final(终点老师,第1200步)。这三个快照都被冻结,不再更新,只用来打分。

对于学生自己生成的每一个回答片段,系统会挑出学生当前最可能选择的前16个候选词(术语里叫top-k),然后分别用这三个老师给这些候选词打分。

*top-k候选词:在每一步生成文本时,模型会给词表里几万个词都算一个概率,top-k就是只挑出概率最高的k个词来重点分析,忽略那些根本不会被选中的词,这样能大大降低计算量*

接下来是关键的一步:计算从Initial到Waypoint的变化(叫早期变化),再计算从Waypoint到Final的变化(叫晚期变化)。这两段变化加起来,正好等于Initial到Final的总变化,这是个数学上的恒等关系,论文里专门证明了这一点,不管Waypoint取在哪个中间点,首尾的总变化量都不会被改变。

然后系统会算一个叫"一致性得分"的东西,本质上是早期变化方向和晚期变化方向之间的夹角余弦值。如果两段变化方向高度一致,这个值接近1;如果方向正好相反,这个值接近负1。

论文设计了一个叫"门控"的机制

*门控(Gate):一种筛选开关,根据某个条件决定信号的通行程度,这里是根据早晚两段变化的一致性,决定最终信号要打多少折扣,一致性越高,信号保留得越完整;方向相反时,信号直接被清零*

如果一致性得分是正的,门控值就等于这个得分本身,相当于按比例放行;如果一致性得分是负的或者为零,门控值直接设为0,相当于把这个终点信号完全拦下来,不让它进入学生的训练过程。

这里论文举了个很直观的例子说明为什么光看终点不够。假设终点的总变化量是d,有两种拆解方式都能加出同一个d:一种是早晚两段各贡献一半(方向完全一致),另一种是早期贡献2d、晚期贡献负d(两段方向相反,互相抵消了一半)。这两种情况终点看起来一模一样,但第一种情况下学生应该完全信任这个信号,第二种情况下这个信号很可能只是训练过程中的噪音巧合,应该被压制。Waypoint-OPD就是靠中间那个路标点,把这两种情况区分开来。

这就像验资的时候,不能只看一家公司年初和年末的账户余额差。如果一家公司年初到年中账面一直稳步增长,年中到年末继续稳步增长,这种增长值得信赖。但如果年中突然暴赚一笔又很快亏掉大半,账户余额最后碰巧和稳步增长的情况差不多,这时候你就该多留个心眼了,不能简单地按最终数字给它打高分。如果没有查中期报表(也就是没有Waypoint),你根本发现不了这个猫腻。

除了门控,论文还设计了一个批次归一化的机制,保证每一批训练样本里门控值的平均水平维持在一个目标区间内(论文设的目标是0.8),防止某些批次因为大量样本触发了零门控而导致整体训练信号太弱或者太强,这个机制不改变每个样本之间的相对权重,只是做一个整体缩放。

整个流程走下来,相比原来的Direct-OPD方法,Waypoint-OPD只多了一次用路标老师打分的计算,没有增加任何新的训练参数,也不需要在训练过程中额外调用验证器去检查对错。额外成本很小,但带来的信号质量提升是实打实的。

实验结果:六个场景全部拿下最高分

说了这么多设计思路,效果到底怎么样?

论文用的是阿里的Qwen3系列模型。老师是Qwen3-4B,经过数学和代码两个领域的RL训练分别产出两套老师权重。学生分别选了Qwen3-8B、Qwen3-14B、Qwen3-30B-A3B三种规模,其中30B-A3B是一种混合专家架构

*MoE:Mixture of Experts,混合专家模型,一种模型架构,内部有多个"专家"子网络,每次只激活其中一小部分,这样可以在参数总量很大的情况下保持推理速度较快*

数学方面的评测用了七个赛事级别的题库,包括AIME、HMMT、AMC等,用mean@32这个指标,也就是对每道题生成32次回答取平均正确率。代码方面评测用了MBPP、MBPP+和三个版本的LiveCodeBench,用mean@8。

结果是,在数学和代码两个领域、三种学生规模组成的六个实验场景里,Waypoint-OPD全部拿到了同类方法中最高的平均分。

具体数字上,在数学任务里,Waypoint-OPD相比Direct-OPD,在Qwen3-8B上提升了2.18个百分点,在Qwen3-14B上提升了1.59个百分点,在Qwen3-30B-A3B上提升了1.89个百分点。21个单项基准测试对比里,19个都是Waypoint-OPD更好。

更有意思的是,14B和30B-A3B这两个学生模型,最终表现甚至超过了它们的老师(Final Qwen3-4B,平均分56.13)。14B学生拿到59.20分,在全部七个数学基准上都超过了老师。30B-A3B学生拿到57.85分。只有8B这个最小的学生模型,最终成绩(56.14)和老师打了个平手。

这个现象挺值得琢磨的。学生用的是比老师更大的模型架构,拥有更强的底层能力,老师只是把RL训练过程中学到的"方向感"教给了它,学生凭借自己更强的底子,把这个方向感发挥得比老师本身还要出色。这有点像一个经验丰富但体能一般的老教练,指导一个天赋更高的年轻运动员,运动员靠自己的身体条件加上教练点拨的正确方向,最终跑得比教练当年还快。

代码任务上的结果类似。Waypoint-OPD相比Direct-OPD平均提升了2.66、1.52、1.19个百分点(按8B、14B、30B-A3B顺序),15个单项对比里全部获胜。14B和30B-A3B学生也都超过了老师的平均分55.37。

训练过程中的表现:不是昙花一现

论文还专门画了训练过程中的学习曲线,想看看这个优势是不是只在某个偶然的检查点出现,还是真的能稳定保持。

结果显示,在Qwen3-8B数学任务的训练过程中,从第60步开始一直到第100步结束,Waypoint-OPD在AIME 2025、AIME 2026、HMMT November 2025这三个基准上,每一次评测点都领先Direct-OPD。

第100步的具体提升幅度分别是4.17、3.13、0.10个百分点。更值得一提的是,在HMMT November这个基准上,Waypoint-OPD从第60步开始就已经超过了Final老师本身的分数。

这说明一件事:这个优势不是运气好撞上的某个瞬间,而是贯穿整个训练过程的稳定趋势。

拆解实验:到底是哪个部件在起作用

好的方法光有整体效果还不够,论文作者很严谨地做了一系列消融实验,想弄清楚自己设计的每个部件到底各自贡献了多少。

第一个实验是"去掉门控",也就是让门控值永远等于1,不再根据一致性筛选信号,只保留批次归一化这个机制。结果平均分从56.14掉到了53.50,七个基准全部下降。这说明光靠别的辅助设计(比如居中处理)是撑不起整体效果的,一致性筛选这个核心机制确实在发挥关键作用。

第二个实验更狠,叫"打乱门控"。做法是把计算好的门控值,在一批训练样本内部随机重新分配给其他样本,也就是故意把门控值和它本该对应的那个文本片段"错配"。结果平均分掉到了51.20,比完全去掉门控还要差2.30个百分点。

这个结果其实挺说明问题的。它告诉我们,门控机制起作用不只是因为它整体上压低或抬高了信号强度,更重要的是它精准地匹配了"这段文字的一致性应该对应这段文字的权重"。如果张冠李戴,把A片段该有的信任度错给了B片段,造成的伤害比干脆不做任何区分还要大。这就像一个老师改作业,如果把A同学的评语错贴到B同学的本子上,这种错误带来的误导,可能比压根不写评语更糟糕,因为学生会真的相信那个错误的反馈并据此调整自己。

第三个实验是"去掉批次归一化",固定缩放系数为1,只保留门控本身的筛选作用。平均分从56.14降到55.22,下降0.92个百分点,六个基准变差,只有一个基准(HMMT February 2025)反而略微变好了一点。这说明归一化确实有正面作用,但不是决定性的,就算不做归一化,光靠门控本身,效果依然比Direct-OPD好1.26个百分点。

三个实验放在一起看,可以得出一个相对清晰的结论:一致性门控是核心贡献者,门控和具体样本的精确匹配同样重要甚至更重要,批次归一化是个锦上添花的辅助手段。

路标点选在哪,重要吗

既然核心思路是找一个中间检查点来验证方向一致性,那这个中间点具体选在哪里,会不会对结果产生巨大影响?

论文做了个小实验,把默认设在第600步的Waypoint换成第500步和第700步,其他全部保持不变。结果三种设置下的平均分分别是56.18、56.14、56.13,差异只有0.05个百分点,可以说几乎没有区别,每个单项基准的分数波动最大也不超过0.62个百分点。

这个结果其实是个好消息。它说明这个方法对路标点的具体位置不敏感,不需要为了找到那个"完美的中间点"而反复调参,只要大致选在训练过程的中段,效果都能稳定保持。

训练成本:居然比原来还快

你可能会担心,多了一次老师打分的计算,训练速度会不会变慢?

论文给出的数据有点反直觉:在Qwen3-8B数学任务上,Direct-OPD跑完100步训练用了8小时21分钟,Waypoint-OPD只用了8小时2分钟,反而快了将近19分钟。

这背后的原因,论文解释是Waypoint-OPD生成的回答平均长度更短,触发最大长度截断的比例更低(从14.83%降到11.97%)。简单理解就是,这套训练信号更精准,学生不需要靠堆砌冗长的文字来凑正确答案,表达更简洁高效,节省下来的生成时间抵消了多一次打分带来的开销。

Q&A

Q1:Waypoint-OPD是什么?

A:Waypoint-OPD是一种让大模型互相传授RL训练经验的新方法,核心是在老师模型训练开始前和结束后的基础上,额外加入一个训练中期的检查点,用来判断训练前期和后期的变化方向是否一致,从而决定这段经验信号该被学生信任多少。

Q2:Waypoint-OPD和之前的Direct-OPD有什么区别?

A:Direct-OPD只看老师训练前后两个端点的变化量,无法判断这个变化是稳定积累的还是前后抵消巧合出来的。Waypoint-OPD多引入一个训练中期的路标检查点,比对前半段和后半段变化方向是否一致,方向一致就保留信号,方向相反就压制或清零,从而过滤掉不可靠的信号。

Q3:Waypoint-OPD的效果提升有多大?

A:在数学和代码任务、三种不同规模学生模型组成的六个场景中,Waypoint-OPD全部取得最高平均分,相比Direct-OPD在数学任务上提升1.59到2.18个百分点,部分学生模型最终表现甚至超过了老师模型本身。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-