好的老师就在那里，答案却藏在隔壁办公室

你有没有遇到过这种情况：手头有一个很厉害的老师，但你总觉得他讲课方式有点固定，每次都用同一套话术解释问题。如果能多问几个老师，说不定能听到不一样的角度，拼起来反而理解得更透彻。

这篇论文讲的就是这么一件事，只不过主角不是人类老师，而是AI模型。

**核心问题：一个老师真的够用吗**

先说说背景。现在训练数学推理模型，有一种叫做"在线自蒸馏"的技术很受欢迎。

在线自蒸馏*：让同一个模型复制出两份，一份当学生自己做题，另一份当老师。老师比学生多看了一个信息,就是标准答案（也叫参考解），然后根据学生写出来的每一步，告诉学生接下来该写什么词概率最高。

这个设置挺巧妙的,老师和学生本质上是同一个模型,只是老师偷看了答案。这种偷看答案的信息在学术上有个专门说法。

特权信息*：训练时能让老师看到、但推理阶段学生永远看不到的额外线索，这里指参考解。

问题在哪呢？标准做法里，这个"偷看答案的老师"只有一个版本，参数是固定死的。它看着学生写的每一句话，提供反馈，但始终是同一套脑回路在判断。研究者们开始怀疑：这个固定的老师，是不是没把这个模型骨子里能提供的监督信号全挖出来？

这就像公司里有个经验丰富的老员工，天天带新人，但他的建议永远是同一个套路。如果让隔壁工位几个和他资历差不多、但做事风格略有不同的同事也搭把手，是不是能在老员工没想到的那些细节上，给新人补上一课？如果不这样做，新人就只能继承老员工的全部盲区，老员工不会的，新人也学不会。

研究者做了一件事：把这个老师模型的参数做了一点点随机扰动，生成了一批"邻居模型"。神奇的地方来了,这些邻居模型虽然看起来和原始老师差不多，但他们在判断"参考解里下一个词该是什么"这件事上，经常会在原始老师判断失误的地方表现得更准。换句话说，老师的参数空间里，附近藏着一堆能力互补的"兄弟老师"。

论文把这个发现包装成了一个方法，叫做邻域在线自蒸馏，英文缩写N-OPSD。

**第一步：怎么挑出真正有用的邻居专家**

既然邻居模型这么多（论文里一次性采样了500个），总不能全部拿来用，太浪费计算资源了。得挑出一个精干的小队伍。

挑选的核心逻辑是这样的：不是看哪个邻居模型"做题准确率"最高，而是看它在参考解的哪些位置上，比当前小队已经掌握的能力多提供了什么新东西。

这里要澄清一个容易踩的坑。你可能觉得，一个模型做题越准，它当老师就该越靠谱。但论文里专门做了对比实验，发现按"做题准确率"选出来的专家组，效果反而不如按"补充性贡献"选出来的组合。

这就像组建一个足球队，你不会只看谁射门准就把前五名全招进来。如果五个人都是前锋型选手，谁会盯防、谁会组织中场？球队的综合实力反而会打折扣。真正厉害的教练会问：这个人能不能补上队伍现在缺的那块短板？

论文里用了一个指标衡量"补充性贡献"，叫做过滤后的正向教师优势。

正向教师优势（PTA）*：衡量一个专家模型，相比"只看题目不看答案"的基础模型，在参考解的某个词上，把正确词的概率提升了多少。只算提升、不算下降的部分。

过滤后*：这里还加了两道过滤，一是只关注基础模型本来就没把握判断的那些低置信度位置（因为高置信度的地方本来就不用额外教），二是把那种"提升过猛"的异常值也排除掉，防止某个专家在某个词上概率给得特别离谱，反而误导训练。

然后用一种叫"贪心选择"的策略，一次次往小队里加人，每次都加能带来最大边际提升的那个专家，直到凑够25个人为止。

这套选择逻辑带来了什么效果？论文在一个500题的分析集上做了统计：原始老师模型能覆盖参考解中大约15.69%的"值得教"的位置，而经过筛选的25人专家小队，这个覆盖率提升到了26.53%，几乎翻了一倍。新增覆盖的词也不是什么特殊符号，而是像"the"、"we"、"find"、"need"这类再普通不过的功能词和推理动词,说明这些补充信息渗透得很细、很日常，不是少数几个花活。

**第二步：训练时到底该听哪个专家的**

挑好了专家小队，接下来的问题是：学生在做题的某一步，到底该参考哪个专家的意见？

这里有个麻烦。专家小队当初是在"参考解"这个标准答案轨道上挑选出来的，但学生实际做题时，走的路径跟标准答案往往不一样,学生会写出自己的推理过程，可能对也可能错。所以不能直接按参考解的词去匹配专家，得让专家们实时看着学生当前写到哪一步，各自给出判断。

论文设计了一个两阶段的路由机制，叫做MaxPeak锚定分位数路由。

MaxPeak*：在学生当前写到的这一步，把所有专家的预测拿出来比较，看哪个专家对某个词给出的概率最高，就把这个词定为"锚点词"，也就是这一步该往哪个方向走的大致方向。

这步设计挺有意思的。它不要求专家小队"集体投票"，只要有一个专家特别自信地指向某个词，这个词就能被选为方向标。为什么要这么设计？因为论文发现，如果用集体投票（比如多数专家同意的词才算），反而会压制那些只有少数专家才能看出来的、独特而精准的判断。

但只定方向还不够。锚点词选出来之后，还得决定"听这个方向上哪个专家的具体发音"，这就是第二步,分位数选择。

分位数选择*：在所有同意锚点词方向的专家里，按它们给这个锚点词打的概率高低排序，不是直接选概率最高的那个（听起来最自信的），而是选一个中间偏上的位置（论文里默认选排序中75%分位处的专家）。

这个细节特别反直觉。你可能觉得，既然已经选定了方向，那肯定该听最自信的那个专家的话，概率给得越高越可靠。但论文发现恰恰不是这样,如果专家给的概率过高，跟学生当前的概率差距太大，会触发训练目标里的"裁剪"机制，这部分的梯度信号直接被截断，等于白说了。

这就好比老板布置任务，有个员工喊得特别响亮："我百分之百确定这么干！"但老板的管理系统有个规则：如果员工信心值和老板预期差距太大，这条建议会被系统自动过滤掉，不计入绩效参考。真正有效的建议，往往来自那个信心适中、既坚定又没有过度膨胀的员工。选最响的那个声音，反而可能被系统忽略；选个声音适中但扎实的，才能真正影响最终决策。

论文做了实验验证这个判断。把分位数从0调到1，让"听最自信专家"和"听相对保守专家"做对比，结果三项基准测试的平均分从64.72一路爬升到66.57（分位数0.75时达到峰值），但到分位数1（也就是无脑听最自信的那个）时反而掉到65.28。这就实打实地证明了，最高峰值的专家，不一定是最好的训练目标。

**整套训练目标怎么收尾**

选定专家之后，学生就跟这个专家学习，用的是一种叫"裁剪前向KL散度"的损失函数，这个机制是从原始OPSD继承下来的。

前向KL散度*：一种衡量两个概率分布差异的数学工具，这里用来衡量学生当前预测的词分布，和被选中专家给出的词分布之间差了多少，训练目标就是让学生逐步缩小这个差距。

裁剪*：给这个差异设一个上限，超过这个上限的部分就不再继续放大梯度，防止某些极端情况把训练带偏。

在计算这个损失之前，还有一个"在线置信度门控"的小机制,如果学生自己已经对当前词很自信了（概率超过某个阈值），这个位置就不用额外监督了，省着力气去啃真正不确定的地方。这跟前面挑选专家时用的那套低置信度过滤逻辑，是同一个思路的两次落地：一次在挑选阶段过滤参考解的位置，一次在训练阶段过滤学生生成的位置。

**结果到底好不好**

论文在Qwen3的三个规模模型（1.7B、4B、8B）上都做了实验，测试集用的是AIME 2024、AIME 2025和HMMT 2025这三个数学竞赛题库，这些都是公认难度不低的赛题。

数据摆出来挺直接的。相比原始OPSD方法，N-OPSD在三个模型规模上分别把三项基准的平均成绩提升了2.75分、1.67分和1.94分。每个模型规模都跑了三次独立实验，不是碰运气的单次结果。

拿8B模型具体说，原始OPSD的平均分是64.63，N-OPSD做到了66.57，这接近两分的提升，看起来数字不大，但放在竞赛数学这种本来就卡在60多分区间、每提升一分都很艰难的场景里，这个幅度算是相当扎实的进步。

论文还做了大量拆解实验来验证每个设计环节到底值不值。比如把"按补充性贡献挑专家"换成"按做题准确率挑专家"，分数从66.57掉到65.00；把路由机制换成"所有专家意见平均"，分数掉到64.63；把专家小队人数从25个砍到1个，分数掉到64.54。这些对照实验基本说明，论文里的每一个设计选择,挑选逻辑、路由机制、小队规模,都在真实地起作用，不是摆设。

还有一个挺有意思的发现：专家挑选时用的是"标准答案轨道"上的参考解，但真正训练时学生走的是自己的推理路径，两者并不完全重合。论文专门做了实验验证这套专家小队在"学生的路径"上是否依然有效,结果发现确实有效，用随机抽取的学生生成轨迹做续写测试，用这套专家小队续写的准确率比原始老师续写高出3.33个百分点，完成率高出4.67个百分点。这说明挑选专家时用的那把"标准答案的尺子"，量出来的能力确实能迁移到学生自己走的弯弯曲曲的路上。

这个结果其实回答了一个很关键的疑虑：如果专家小队只在"标准解"这条路上好用，离开这条路就失灵，那这套方法其实没多大意义，因为学生实际做题时根本不会严格沿着标准解走。好在实验证明，这套挑出来的能力是能带得走的，不是死记硬背标准答案的那种虚假能力。

**写在后面**

读完这篇论文，最让我意外的一点其实是那个"分位数不能选到头"的实验结果。直觉上，最自信的专家应该是最好的老师，但论文用实打实的数字告诉你：选到最自信的那个（分位数1），分数反而比选中等自信的（分位数0.75）低了1.29分。这个反直觉的发现背后，其实藏着一个更普遍的道理,"信心"和"有效性"从来不是一回事，尤其是当这套信心会撞上系统自带的裁剪规则时，过度自信反而成了累赘。

另一个值得单独说一说的细节是，新覆盖的那些参考解位置，列出来的词全是"the"、"we"、"find"、"need"这种毫不起眼的日常词。这个发现有点反常,你可能以为模型之间的能力差异体现在那些需要深度推理的关键节点上，比如某个复杂的数学转折点。但论文的审计数据显示，专家小队补上的，其实是老师模型在最基础、最普通的词汇判断上的那些细碎盲区。这说明"模型的能力边界"这件事，比我们想象得更琐碎、更分布在角落里，不是集中在几个华丽的难点上。

这篇论文也留了一个没解决干净的问题：专家小队是在训练开始前一次性挑好的，之后就冻住不动了。但学生在训练过程中一直在变化，它需要的"补充能力"理论上也会跟着变。论文自己也承认，如果能动态地重新挑选专家，可能效果更好，但这样做计算成本会飙升。这个取舍目前还没有答案,到底值不值得为了这点提升去烧更多算力，恐怕要看具体场景了。

Q&A

Q1：邻域在线自蒸馏（N-OPSD）解决的核心问题是什么？

A：标准的在线自蒸馏方法只用一个固定参数的老师模型监督学生，这篇论文发现老师模型参数附近的"邻居模型"能提供补充性的纠正信号，覆盖原始老师没覆盖到的位置，于是设计了一套挑选和路由机制，把这些邻居模型的能力用起来。

Q2：N-OPSD和原始OPSD相比效果提升了多少？

A：在Qwen3的1.7B、4B、8B三个规模模型上，三项数学竞赛基准测试（AIME2024、AIME2025、HMMT2025）的平均成绩分别提升了2.75分、1.67分和1.94分，每组都跑了三次独立实验验证。

Q3：为什么训练时不选最自信的专家模型，反而选中等自信的？

A：如果专家给出的概率过高，和学生当前概率差距太大，会触发训练目标里的裁剪机制，导致这部分梯度信号被截断失效。实验显示选分位数0.75时效果最好，达到66.57分，选分位数1（最自信）反而掉到65.28分。