北京大学与小米联合研究院出手：让AI同时掌握多项技能，终于不再"顾此失彼"

这项研究由北京大学、小米大模型团队、香港大学及中国人民大学联合开展，论文于2026年6月29日发布于预印本平台arXiv，编号为arXiv:2606.30406，感兴趣的读者可通过该编号查阅完整原文。

你有没有遇到过这样的情况：一个人精通厨艺，另一个人擅长修车，还有一个人是写作高手。如果你希望找到一个"全能型人才"，把这三个人的技能都融合到一个人身上，应该怎么办？最直觉的做法是让他们轮流教，或者同时教，但实际上你会发现这个"全能学员"往往学了新技能就忘了旧技能，或者每项技能都只学了个皮毛，没有一项真正达到专家水平。

这正是当今大型语言模型（也就是ChatGPT这类AI）面临的核心难题。研究团队给这个问题起了个专业名字，叫"能力融合"（Capability Integration），而他们提出的解决方案，就是本文要介绍的MOPD——多教师在线蒸馏（Multi-Teacher On-Policy Distillation）。

一、为什么AI"全能化"这么难

现代AI在接受训练时，通常依赖一种叫做"强化学习"的机制。这种机制的原理很像训练宠物：当AI做对了一件事，就给它奖励；做错了，就不给奖励甚至惩罚，让AI慢慢学会什么是对的。数学推理、写代码、按指令写作、使用搜索引擎——每一类任务都有自己专属的"训练场"和"奖励规则"，每套训练下来都能产生一个在该领域非常厉害的"专科医生"级别的AI模型。

问题在于，用户想要的不是一个只会看数学题的AI，也不是一个只会写代码的AI，而是一个"全科大夫"——什么都会，而且每样都不差。

在MOPD提出之前，研究者们主要尝试过四条路。第一条路叫"混合强化学习"（Mix-RL）：把数学题、编程题、写作题全部混在一起，同时训练。听起来很合理，但实际上各个任务的训练信号会互相干扰，产生所谓的"跷跷板效应"——数学进步了，写作退步了；写作追上来了，编程又掉队了，最终谁也没到专家水平。

第二条路叫"级联强化学习"（Cascade RL）：按顺序一个领域一个领域地训练，就像先学完厨艺，再学修车，再学写作。这种方式的麻烦在于，后面学的新技能会把前面学的旧技能"挤掉"，数学学好了再去学软件工程，数学分数就开始下滑。而且整个训练流程很长，风险会逐渐积累。

第三条路叫"离线微调"（Off-Policy Finetune）：先分别训练出数学专家、编程专家、写作专家，然后让这些专家各自完成一批题目，把他们的答案收集起来，再拿去让"学生模型"模仿学习。这种做法有一个根本性的问题，叫做"暴露偏差"——专家回答问题的方式，和学生自己回答问题的方式是不同的，学生在考试时的状态和训练时对着专家范文背答案的状态根本不一样，导致真正考试时表现打折扣。

第四条路叫"参数合并"（Param-Merge）：把几个专家模型的"大脑权重"直接做加法或做减法，期待把各自的能力都保留下来。这种做法不需要额外训练，但效果非常不稳定，就像把三个不同口味的菜直接混在一个锅里，结果可能什么味道都有，也可能什么味道都不对。

四条路各有缺陷，没有一条能同时做到高效、稳定、全面。正是在这个背景下，MOPD出现了。

二、MOPD的核心思路：让学生用自己的话学，但对照专家的标准改

MOPD的设计灵感，可以用一个生活场景来理解。你正在自学弹吉他，有三位老师分别精通古典、爵士和摇滚风格。传统的学法是让每位老师轮流给你改作业，但你弹的曲子是老师提前准备好的示范曲，不是你自己即兴弹的。MOPD的做法是：你先随机弹一段自己的即兴演奏，然后把这段录音分别交给对应风格的老师听，老师逐个音符地告诉你哪里弹得好、哪里和他的标准差多少，你根据这个反馈调整，下次弹得更好。

这里有两个关键差异。其一，你弹的是自己的演奏，不是老师的示范，所以你在练习时和在真正演出时的状态是一致的，不存在"背答案"的问题；其二，老师给的反馈是每个音符级别的，非常细致，远比一首曲子弹完只说"这首曲子60分"要有用得多。

翻译成技术语言，这两个特点分别对应"在线训练（on-policy）"和"密集优化信号（dense optimization）"，而这正是MOPD相比其他方法的核心优势所在。

三、MOPD的三个训练阶段：流水线般的分工协作

MOPD将整个训练过程划分为三个阶段，像一条精密的生产流水线，每个环节各司其职。

第一阶段是通用监督微调（General SFT）。研究团队先用涵盖所有目标领域的宽泛数据对基础模型进行微调，得到一个"打好底子"的SFT检查点（checkpoint）。这个检查点相当于学员入学时的基本功，它既是第二阶段各个专家老师的共同起点，也是第三阶段学生的初始状态。

第二阶段是领域专项强化学习（Domain-Specialized RL Training）。从第一阶段得到的SFT模型出发，研究团队为每个领域独立训练一个专家模型。数学专家用的是"可验证答案"式的强化学习奖励（答案对不对，系统直接判断），软件工程专家用的是"可执行沙箱"式的强化学习（代码能不能跑通），指令遵循专家用的是"评分标准"式的强化学习。每个领域的专家训练完全独立，可以同时并行进行，互不干扰。这就像一所学校里，数学老师、体育老师、音乐老师各自备课，谁也不用等谁。

第三阶段才是MOPD的核心——多教师在线蒸馏（MOPD Stage）。学生模型从第一阶段的SFT检查点出发，第二阶段训练好的各个专家模型被冻结（也就是固定住，不再更新），作为老师群组。在每一次训练步骤中，系统先从多领域题库里随机抽取一批题目，学生模型自己生成回答，同时记录每个位置上自己对每个词的预测概率分布；接着，每道题的回答被分发给对应领域的专家老师，专家老师读入这段回答，给出它自己在每个位置上对每个词的概率分布；最后，系统计算学生和老师在每个词上的分布差异，并以此为信号更新学生。训练结束后，一个掌握了所有领域技能的统一学生模型就诞生了。

四、数学上的设计：如何精确衡量"学生和老师差多少"

MOPD在技术上使用了一种叫做"反向KL散度"（Reverse KL Divergence）的衡量方式来量化学生和老师之间的差距。普通人不需要知道KL散度的数学公式，但可以这样理解：如果老师认为某个词在这个位置有90%的概率是最合适的，而学生只给这个词10%的概率，那差距就很大；如果学生也给了85%，那差距就很小。MOPD的优化目标就是让学生在每个词的选择上，尽量接近对应领域老师的判断。

研究团队提供了两种具体实现方式。第一种叫"策略梯度实现"（Policy-Gradient Implementation），它的原理是把老师和学生之间的对数概率差值，直接当成每个词的"优势分数"（advantage），分数为正说明老师比学生更喜欢这个词，应该鼓励；分数为负说明老师不那么喜欢，应该压制。为了训练稳定，研究团队还对这个分数做了双向裁剪，不让它过大或过小。这种形式的好处是可以直接插入现有的PPO或GRPO强化学习框架，只需修改优势计算这一步。

第二种叫"Top-k蒸馏实现"（Top-k Distillation Implementation）。前一种方式每次只利用学生实际生成的那一个词的信息，而Top-k方式则同时利用老师认为最可能的前k个词（比如k=64）的信息，相当于每次从老师那里获得了更多参考信息，理论上方差更低、信号更丰富。此外，研究团队还在损失函数里加了一个修正项，确保最优解正好是学生完全复现老师的分布，修复了朴素截断方式下损失函数会"错判"的数学问题。Top-k方式还有一个工程上的好处：只需要传输老师的前64个词的概率，而不是整个词汇表（通常有十几万个词）的全量概率，大幅减少了数据传输量。

五、工程上的聪明设计：让老师的计算开销"消失"在等待间隙里

MOPD在工程实现上有一个巧妙的设计，解决了"多个老师同时在线会不会让训练速度大幅下降"的问题。

直觉上，每次学生生成完一段回答，都需要把这段回答送给对应的老师模型进行"打分"（技术上叫prefill，即让老师读入学生的回答并输出每个位置的概率），这听起来会增加大量额外时间。但研究团队注意到，老师"打分"的性质和强化学习中"奖励计算"的性质完全一样——都是在学生生成完毕后异步进行的。于是，他们把每个领域的老师模型部署成一个独立的"打分服务"，位于训练循环之外。学生模型一边继续生成下一批题目的回答，老师服务在后台异步处理上一批的打分请求，两件事同时进行。由于学生生成回答本身就需要时间，老师的打分工作几乎完全被"藏"在这段等待时间里，实际测量结果显示老师服务几乎没有带来可测量的额外训练耗时。

六、实验结果：MOPD到底比别的方法好多少

研究团队在Qwen3-30B-A3B这个模型（这是阿里巴巴发布的一个有300亿参数的混合专家架构模型）上进行了系统比较。实验涵盖三个领域：数学（用AIME25和AIME26竞赛题评测）、指令遵循（用IFBench和IFEval评测）、软件工程（用SWE-bench Verified评测）。

为了让不同领域的成绩能够横向比较，研究团队设计了一个叫"归一化分数"（Normalized Score）的统一指标。这个指标的逻辑是：第一阶段SFT学生的分数记为0，对应领域的专家老师的分数记为1，然后看每种方法能把学生的成绩推进到这个区间的哪个位置。比如归一化分数0.9，意味着该方法缩小了专家和学生之间90%的差距；分数大于1意味着比专家还强；小于0意味着比起步时还退步了。

实验结果显示，混合强化学习的归一化分数是0.882，级联强化学习是0.775，离线微调是0.824，参数平均合并是0.328，任务向量合并是0.857，而MOPD达到了0.937，领先第二名（混合强化学习）5.5个百分点。更重要的是，MOPD在三个领域的归一化分数分别落在0.91到0.95的范围内，差距只有0.044，是所有方法中最均匀的。相比之下，级联强化学习三个领域的分数从0.57到0.98，跨度高达0.41；离线微调从0.65到1.01，跨度0.36。MOPD真正做到了"每个领域都强，而且强得差不多"。

从训练曲线来看，MOPD的样本效率远高于混合强化学习。在指令遵循领域，MOPD只需训练约2.5万个样本就能达到接近专家水平的平台期；而混合强化学习需要消耗15到18万个样本才能达到类似水平。在软件工程领域，MOPD约用3万个样本就能接近平台期，混合强化学习同样要用满整个15万样本的预算才追得上。这种效率差异正是来自老师的逐词密集信号——每次更新获得的信息量远比只有一个"答对/答错"的稀疏奖励要丰富得多。

各个基线方法也各有其特点与缺陷。混合强化学习在三个领域间最为均衡（分数差距只有0.064），但整体水平不及MOPD。级联强化学习按照"指令遵循→数学→软件工程"的顺序训练，指令遵循领域缩小了98%的差距，但数学领域只缩小了57%，而且从训练曲线可以清楚看到，软件工程阶段开始后数学准确率明显下滑。离线微调在指令遵循上超过了专家（归一化分数1.01），但在软件工程上只缩小了65%的差距，说明离线模仿在不同任务类型上的迁移效果很不一样。参数平均合并的表现非常不稳定，直接平均权重只得到0.328的归一化分数，完全崩溃；任务向量合并虽然恢复到0.857，但具体领域差异很大，在数学上只缩小了73%的差距，表明合并效果高度依赖于选取的系数和具体评测集。

七、扩大到3090亿参数的工业级模型上验证

单靠一个模型上的实验还不够说服力。研究团队进一步把MOPD应用到了小米内部的工业级大模型MiMo-V2-Flash上，这个模型的规模达到约3090亿参数（具体结构为混合专家架构），是真实产品级别的前沿模型。

在这个规模上，研究团队部署了覆盖数学、代码、指令遵循、软件工程和工具使用五个领域的专家老师，然后通过MOPD训练学生。结果显示，MOPD在大多数评测基准上都能匹配甚至超过对应的专家老师。在AIME25数学竞赛上，学生得分从89.3提升到94.1，超过了老师的93.9；在HMMT25上，学生从76.9提升到84.4，超过了老师的82.6；在代码竞赛题（LCB）上，从77.5提升到83.2，超过了老师的82.6；在工具使用（τ?-Bench和τ?-Telecom）上也均超过了老师。两个出现小幅退步的领域是IFBench（下降2.2分）和SWE-bench Verified（下降0.8分），研究团队认为这些退步相对于其他领域的提升是可以接受的。这个实验证明MOPD不只是学术论文里的小规模验证，在真实工业部署中同样奏效。

八、深入分析：两种实现方式谁更好，以及为什么"老师要和学生同根同源"

研究团队在Qwen3-30B-A3B上专门做了一组对照实验，比较策略梯度和Top-k蒸馏两种实现方式的效果。在其他所有条件相同的情况下，策略梯度方式的归一化分数是0.937，Top-k方式（k=64）是0.909，两者差距不大，具体在数学领域几乎相同，指令遵循和软件工程上策略梯度略有优势。从训练动态来看，两种方式的数学准确率曲线几乎完全重合，老师和学生之间的KL散度（分布差异）从训练开始就保持在非常低的水平（约0.04），并随着训练单调下降，策略熵（反映模型输出多样性的指标）也稳定保持在约0.30。这说明当老师和学生"出身相同"时，学生的生成内容本身就高度集中在老师的高概率区域，两种梯度估计方式都能获得充分的有效信号，最终收敛到相近的终点。

与此同时，研究团队还做了另一组实验，测试如果换用一个能力更强但"来路不同"的老师会怎样。他们把数学领域的老师从原来MOPD流程中训练的Qwen3-30B-A3B数学专家，换成了Qwen3-235B-A22B——一个有2350亿参数、数学能力远超前者的更大模型。结果出人意料地糟糕：用这个更强外部老师，策略梯度方式的归一化分数跌至0.600，Top-k方式更是跌到-1.19（已经比起步时的SFT学生还要差），训练曲线在约18步时彻底崩溃，KL散度和策略熵剧烈震荡。

训练曲线揭示了原因：换用外部大模型后，初始的逐词KL散度约为0.19，是同根同源老师（0.04）的近5倍。这意味着学生的生成内容大多落在外部老师认为"概率极低"的区域，老师给出的信号几乎全部是"这个词非常不对"的惩罚信号，学生的策略在惩罚轰炸下迅速收窄，熵从0.30急剧降到0.21，最终陷入退化。Top-k方式在这种情形下更脆弱，因为它引入了更多老师分布的信息，而这些信息全都指向学生完全没探索过的区域，不稳定性成倍放大。这个实验有力地证明了MOPD的设计要求——老师必须从和学生相同的SFT检查点出发，通过强化学习训练而来，分布上的接近是稳定优化的关键前提。

九、多轮迭代：MOPD可以持续进化

一轮MOPD结束后，学生模型已经在各个领域关闭了大部分与专家之间的差距，但仍有少量提升空间。研究团队提出了一个迭代进化的方案：把第一轮MOPD的学生作为新的起点，重新训练领域专家，再做一轮MOPD蒸馏。

在Qwen3-30B-A3B上，研究团队验证了第二轮迭代（只对数学和指令遵循两个领域做，软件工程保持不变）。从第一轮MOPD学生出发重新训练的数学和指令遵循专家，达到了1.030的归一化分数（超过了初始专家的1.000），证明第一轮MOPD学生本身已经比初始SFT更强，由此出发的专家能达到更高水平。基于这批更强专家进行的第二轮MOPD，把学生的归一化分数从0.937进一步提升到0.986，距离满分还有一步之遥。这说明MOPD是一个可以持续迭代的框架，每一轮都能让学生更强，让下一轮的老师也更强，形成良性循环。

十、MOPD对研发流程的深远意义

除了性能上的提升，MOPD还从组织和工程角度带来了一种全新的开发模式。

传统的混合强化学习和级联强化学习都有一个根本性的串行依赖：要么各个领域同时竞争同一批训练资源，要么各个领域必须按顺序一个等一个。任何一个领域的训练出了问题（比如奖励函数设计有缺陷、超参数需要调整），就会影响整个流程。在大型公司里，这意味着数学团队的失误可能让软件工程团队的工作白费。

MOPD把"能力生产"（各领域强化学习训练专家）和"能力融合"（MOPD蒸馏）完全分开，两个阶段解耦。每个领域团队可以独立迭代，用各自最适合的算法、奖励函数、超参数和数据管道，并行推进，互不干扰。如果某个领域的专家训练需要重新来过，只影响那一个领域，其他专家模型继续原地待命。训练好之后，统一接入MOPD蒸馏阶段，一次性完成融合。在算力充足的情况下，这种并行化设计直接提高了整个团队的开发吞吐量。

归根结底，MOPD提供的不只是一个性能更好的训练方法，更是一套更合理的分工协作框架——让每个专科老师专注于把自己的领域练到极致，再由学生通过在线练习把所有老师的精华内化，而不是让所有人挤在同一个训练场里相互拉扯。

这个思路背后有一个简单但深刻的道理：真正有效的学习，发生在学习者用自己的语言去尝试、然后对照高水平标准逐步修正的过程中，而不是被动地模仿别人说过的话。

---

Q&A

Q1：MOPD和直接把多个专家模型的权重平均合并有什么区别？

A：参数平均合并不需要额外训练，但效果非常不稳定。直接平均权重在实验中归一化分数只有0.328，几乎等于失败；即使用更复杂的任务向量合并方式，各领域表现也参差不齐。MOPD通过让学生在自己的生成内容上接受多个专家老师的逐词指导，在策略空间（而非权重空间）完成能力融合，因此更稳定、效果更全面。

Q2：MOPD训练时需要同时运行多个专家模型，计算开销会不会很大？

A：研究团队设计了一套异步打分机制，把每个专家模型部署为独立的打分服务。学生模型生成回答时，专家的打分在后台并行进行，几乎完全藏在学生采样的等待时间里。实际测量结果显示，专家服务几乎没有带来可测量的额外训练耗时，整体训练速度主要由学生采样速度决定。

Q3：为什么MOPD要求专家老师必须从和学生相同的基础模型训练出来，用更强的外部大模型当老师不行吗？

A：实验证明换用更强的外部大模型（Qwen3-235B-A22B）当数学老师后，训练反而崩溃了。原因在于：外部大模型和学生的输出分布差距太大，学生自己生成的内容几乎全落在老师认为"概率极低"的区域，老师给出的信号变成了铺天盖地的惩罚，学生策略迅速退化甚至崩溃。同根同源的老师和学生分布接近，信号清晰有效，优化才能平稳进行。