当学生同时向三位老师学习，怎样才能不偏科

你有没有遇到过这种情况：一个孩子同时上数学补习班、编程课和写作训练营,三位老师都很厉害,各自在自己的领域里教得炉火纯青。按理说,这孩子应该三门都学得不错才对。

但现实是,期末考试出来,数学勉强及格,编程一塌糊涂,只有写作还凑合。家长很困惑:老师明明都很强,孩子怎么反而不如只跟一个老师学的同学?

这不是一个假设的段子,而是当下大语言模型训练领域正在发生的真实困境。

一个模型,三个老师,一场意外的滑铁卢

先说清楚背景。

现在训练大语言模型有一套流行做法:先用强化学习把同一个基础模型训练成好几个"专才"。

强化学习*：一种让模型通过尝试和反馈不断调整自己行为的训练方法,类似于用奖励和惩罚来教一个人学会某项技能。

比如专门训练一个数学特别强的版本,一个代码写得特别好的版本,一个特别听话、严格按指令做事的版本。这几个专才模型各自身怀绝技,但用户想要的是一个全能选手,不可能同时打开三个窗口分别问数学、代码和指令问题。

于是就出现了一种叫做多教师同策略蒸馏的技术,英文缩写MOPD。

同策略蒸馏*：一种知识传递方法,做法是让学生模型自己生成答案,然后老师模型来评价这个答案写得像不像自己会写的样子,再据此调整学生。这和传统蒸馏不同,传统方法是直接让学生模仿老师写好的范文,而同策略蒸馏是老师批改学生自己的作业。

MOPD的思路很直接:学生模型面对一个数学题,就找数学老师来批改;面对代码题,就找代码老师;面对指令遵循题,就找指令老师。这套路由规则清晰明确,谁教什么一目了然。

这篇论文的研究者们,来自南洋理工大学、耶鲁大学和曼彻斯特大学的团队,在Qwen3.5这个模型家族的三个尺寸(9B、4B、2B)上做了这套实验。结果让人意外:MOPD训练出来的学生模型,居然比不上只跟单一一个老师学的学生模型。

B*：这里的字母B代表十亿(billion),9B就是90亿参数的模型,数字越大通常代表模型能力上限越高,但训练和运行成本也越高。

更扎心的是数学。数学专才老师本身在数学题上进步很明显,但MOPD训练出的学生在16K token评估长度下,几乎没有从数学老师那里学到任何东西。研究者统计发现,学生只保留了数学老师优势的14%到32%(在8K评估下),到了16K评估干脆就是零收获。

三个老师都很强,凑在一起教,反而教出一个数学掉链子的学生。问题出在哪?

老师说话声音不一样大,学生只听得见最吵的那个

研究者深挖之后发现了症结:三位老师的"反馈强度"完全不在一个量级上。

具体来说,每次学生写完一个回答,对应领域的老师会给每个字打一个分,这个分数叫做蒸馏优势值。

蒸馏优势值*：衡量学生某个字写得好不好的分数,计算方式是老师认为这个字出现的概率取对数,减去学生自己认为这个字出现的概率取对数。分数越大,说明老师越想强化学生写这个字的倾向;分数是负的,说明老师想纠正学生别这么写。

问题就出在这里:指令遵循老师打出来的分数,波动幅度是整体平均水平的2.3到4.4倍,而数学老师打出来的分数波动幅度,只有整体平均水平的一半左右。

想象一下开家长会,三位老师轮流发言。数学老师说话轻声细语,音量适中;代码老师声音也还正常;但指令遵循老师说话声音特别大,几乎是在喊。学生同时听三个人说话,注意力自然会被喊得最大声的那个人吸引过去,哪怕这位老师说的内容并不比别人重要。如果没有人去调节这个音量差异,学生最后记住的几乎全是那个喊得最响的老师说了什么,数学老师和代码老师那些轻声细语的建议,基本被淹没听不见了。

这不是比喻,是实打实的数字。研究者计算了4B模型在初始阶段的梯度贡献占比,发现在权重相等的情况下,指令遵循这一项的反馈,独占了整个更新信号的94%。也就是说,当模型在同时调整自己去满足三位老师的期待时,几乎所有的调整力度,都被指令遵循这一个方向占用了,数学和代码只分到了可怜的剩余部分。

梯度*：神经网络训练中用来指导参数怎么调整的信号,可以理解为"往哪个方向、调整多少"的指令。梯度贡献占比越高,说明这部分反馈对模型最终变成什么样子的影响力越大。

更有意思的是,指令遵循任务生成的回答通常很短,只占训练时全部文字量的大约1%,但它贡献的分数波动却占到了总波动的一半左右。用大白话说就是:说得少,但说得特别用力,每个字都带着夸张的情绪波动,结果反而抢走了大部分注意力。

给每位老师配一个音量旋钮

搞清楚问题所在后,解决方案其实顺理成章:既然老师们说话音量不一样,那就给每个人配一个音量旋钮,把大家调到差不多的响度上。

研究者把这套方法命名为域归一化多教师同策略蒸馏,英文缩写DN-MOPD。

域归一化*：这里特指按照每个专业领域(数学、代码、指令遵循)分别测量其反馈信号的波动幅度,再用一个倍数把这个波动幅度拉近到所有领域的平均水平。

具体做法是,每一轮训练开始前,先统计一下这一批数据里,每个领域的反馈分数波动有多大,算出一个标准差。

标准差*：统计学中衡量一组数据离散程度的指标,数值越大说明这组数据忽高忽低越剧烈,数值越小说明数据比较稳定集中。

然后拿全部三个领域混在一起算出来的总体标准差,除以某个领域自己的标准差,得到一个倍数,这个倍数就是那个领域这一轮的"音量旋钮"设置。

数学老师波动小,这个倍数就大于1,相当于把音量调大,放大数学反馈的存在感;指令遵循老师波动特别大,倍数就小于1,相当于把音量调小,压低它的存在感。

但这个旋钮不是可以无限拧的,研究者设了一个安全区间,倍数最小是0.25,最大是4。这样即便某个领域的波动特别离谱,也不会被无限放大或无限压低,避免出现新的失控。

在实际训练中,这套调节机制表现出了明显的规律性。数学反馈在三个尺寸的模型上都被放大了1.5到2.1倍左右,代码反馈基本保持在1附近没怎么动,而指令遵循反馈几乎每一批都被压到了0.25这个下限,说明它原本的音量真的是超标太多,即便用最大力度往下压,也只能压到安全线,没办法真正压到和别人一样响。

这套方案有个特别讨喜的地方:它不需要额外找一个新老师,不需要多问一次老师的意见,只是把训练过程里本来就已经算出来的那些分数,重新拿来统计一下波动大小,再乘一个倍数。相当于不增加任何额外成本,只是多做了一步"调音"的工作。

打分不变,只是把音量拉平

有人可能会问:调整音量会不会把原本正确的判断方向也给改了?比如老师本来想纠正学生某个字写错了,调完音量之后会不会变成鼓励?

不会。这个倍数是一个正数,乘上去只会改变分数的大小,不会改变分数的正负号。原本该表扬的还是表扬,该纠正的还是纠正,只是声音大小变了。研究者在论文里专门强调了这一点:这套机制"保留符号",是纯粹的强度调节,不涉及方向判断的改变。

这就好比调音师给合唱团做混音,不会改变每个人唱的音符是对是错,只是把唱得太大声的人往下压一压,把唱得太小声的人往上提一提,最终呈现出的和声效果,比某一个人独占麦克风要协调得多。如果调音师图省事,干脆把某个人的话筒直接静音,那这个人唱错了音也没法提醒观众注意,这就不是调节音量,而是彻底抹掉了这个声部,后果会更糟。

效果如何:数学成绩明显回血

理论说得再好,还是得看实际效果。

研究者在9B、4B、2B三个尺寸的Qwen3.5模型上,用六项公开测试(两项数学、两项代码、两项指令遵循)对比了传统MOPD和DN-MOPD。

先看总分表现。

| 模型尺寸 | 传统MOPD总分 | DN-MOPD总分 | 16K评估提升 | 8K评估提升 |

|---|---|---|---|---|

| 9B | 58.4 | 59.6 | +1.17 | +2.47 |

| 4B | 50.3 | 52.5 | +2.24 | +3.08 |

| 2B | 26.6 | 29.0 | +2.36 | +2.92 |

三个尺寸,两种评估长度设置,DN-MOPD全部胜出,而且置信区间都稳稳地在零以上,说明这个提升不是运气好碰出来的,是真实存在的规律。

数学能力的恢复尤其明显。在16K评估下,传统MOPD训练的学生数学成绩甚至比训练前的初始模型还要差一点,基本等于白学了;而DN-MOPD训练的学生在三个尺寸上都实现了数学成绩的实质提升。用MATH-500这个更大规模的数学测试集(500道题)来验证,DN-MOPD在9B、4B、2B上分别比传统MOPD高出0.74、1.25、5.95个百分点,尤其在最小的2B模型上,差距接近6分,相当可观。

值得一提的是,数学分数的提升并不是靠让模型写更长的答案硬撑出来的。研究者对比了生成文字的长度,发现DN-MOPD训练出的学生答案反而更短,触碰到字数上限的比例也更低。这说明模型是真的把解题思路想清楚了,而不是靠啰嗦堆字数蒙混过关。

给旋钮位置写死行不行:一场对照实验

一个自然的疑问是:既然已经知道大致规律,数学该放大、指令遵循该压低,那干脆一开始就把这几个倍数写死,固定不变,是不是也能达到同样效果,何必每一轮都重新计算?

研究者专门做了这组对照实验。

结果显示,在9B和4B这两个较大尺寸上,用训练刚开始时测出来的固定倍数,效果和每轮动态计算的DN-MOPD几乎没有差别,置信区间都包含零,说明统计上分不出谁更好。但在最小的2B模型上,动态计算的方式明显更胜一筹,领先了1.10个百分点。

这个结果很耐人寻味。它说明模型越大,训练过程中各领域反馈强度的分布可能相对更稳定,一次性校准就够用；而模型越小,可能训练过程中各领域的波动情况变化更剧烈,需要持续跟踪调整才能保持效果。这也提示了一个方向:未来针对小模型的类似技术,或许需要更精细、更频繁的动态调节。

研究者还单独测试了只调整一个领域会怎样。比如只把数学放大2倍,其他不变,在4B模型上能捡回DN-MOPD大约一半的提升;但如果只把指令遵循压到0.25,其他不变,反而能拿到DN-MOPD大部分的提升效果,并且数学分数也顺带提高了大约3个百分点。

这个发现颠覆了一种直觉。很多人第一反应可能是"既然数学学不好,那就使劲加强数学的分量",但实验证明,真正起决定性作用的,是把那个音量过大、抢占所有注意力的指令遵循信号压下去,而不是单纯给数学加码。这就像一个班级里成绩落后的学生,问题往往不是他不够努力,而是隔壁桌总在大声说话干扰他专注,解决办法未必是让他更拼命,而是先让教室安静下来。

延长训练时间能不能追上

还有一种可能:也许传统MOPD只是学得慢,给它更多训练时间就能追上DN-MOPD?

研究者把训练轮次从80轮延长到160轮,足足翻了一倍。结果传统MOPD确实有进步,但DN-MOPD在每个尺寸上依然保持领先。在8K评估条件下,只训练了80轮的DN-MOPD,分数居然已经超过了训练了160轮的传统MOPD,领先幅度在1.71到1.95个百分点之间。也就是说,传统方法哪怕多花一倍的训练时间,也追不上校准了反馈强度的方法只用一半时间达到的水平。这说明问题不在于训练不够久,而是训练方向本身就存在结构性偏差,单靠堆时间是解决不了的。

这个方法的边界在哪里

研究者也很坦诚地承认了这套方法的局限。

首先,这套调节方式是从一个更早期的Qwen3模型上摸索出来的规律,再迁移到Qwen3.5系列上验证的。作者提到还有一次在不同设置下的Qwen3-4B对照实验,结果显示两种方法并没有明显差别,置信区间都覆盖了零。这说明这套调节机制的效果,依赖于具体的老师和学生配置,不是放之四海皆准的万能钥匙。

另外,由于指令遵循这个领域的反馈信号波动实在太大,即便用了最大压制力度(压到0.25这个下限),也没能把它真正拉到和其他领域一样的水平,只是尽力限制住了它的过度影响。这说明这套安全阈值的设置,某种程度上是在"够用就好"和"完全解决"之间做了一个折中。

有意思的还有一点,研究者测试了三个不同的随机种子(相当于换一批不同的训练数据顺序和采样随机性),结果DN-MOPD在九组配对比较里全部胜出,说明这个提升不是某一次训练运气好导致的偶然结果,而是一个相对稳健的规律。

从这个更宏观的角度看,这篇论文提出的其实是一个更普遍的问题:当我们把不同来源的知识或反馈整合到一个系统里时,光决定"谁来提供什么信息"是不够的,还必须考虑"这些信息各自的声量有多大"。这个道理不只适用于训练AI模型,任何需要综合多方意见做决策的场景,可能都藏着类似的陷阱:声音最大的意见,不一定是最该被重视的意见。

Q&A

Q1：DN-MOPD和传统MOPD最大的区别是什么？

A：传统MOPD只解决"哪个老师教哪个知识点"的路由问题，而DN-MOPD在保留同样路由规则的基础上，额外给每个领域的反馈信号配了一个音量调节倍数，让声音过大的领域(如指令遵循)被压低，声音过小的领域(如数学)被放大，避免某一科老师的反馈淹没其他科目。

Q2：为什么MOPD训练的学生数学成绩反而变差了？

A：研究发现指令遵循领域产生的反馈信号波动幅度是整体平均水平的2.3到4.4倍，数学领域反馈波动只有平均水平一半左右。三个领域共用同一套模型参数更新，波动最大的指令遵循信号会主导绝大部分梯度更新，导致数学老师的意见几乎被淹没，学生学不到数学老师的优势。

Q3：DN-MOPD需要额外训练一个新老师或增加计算成本吗？

A：不需要。DN-MOPD复用了训练过程中本来就会计算出的老师和学生的对数概率差值，只是多统计了一下每个领域这批数据的波动幅度，再乘一个介于0.25到4之间的倍数，没有增加新的老师模型或额外的老师调用。