DiffGate：当老师和考官意见不一致时，AI学生该听谁的？

你有没有遇到过这样的场景：同时有两个人在指导你学习，一个是经验丰富的老师，手把手告诉你每一步该怎么写；另一个是严格的考官，只在你交卷后告诉你对还是错，连理由都不给。

更麻烦的是，这两个人经常意见不合。老师觉得你某一步写得不够优雅，但考官判你这道题是对的。你该改吗？

这正是当下训练大语言模型时遇到的真实困境。2026年的这篇论文《DiffGate》，就是在尝试解决这个看似简单实则棘手的问题。

**问题的两张面孔**

训练一个较小的AI模型（学生模型）变得更聪明，通常有两条路。

第一条路叫**在线策略蒸馏**

在线策略蒸馏（On-Policy Distillation，简称OPD）：让学生模型自己生成答案，然后用一个更强的教师模型（比如参数量大得多的同系列模型）去逐字逐句点评，告诉学生每一步「你这里和我想的不一样」。

这条路的好处是信号密集，学生写的每一个字都能得到反馈。但问题也很明显：教师的点评只盯着某个字和它自己的判断差多少，完全不管学生最终这道题是对是错。

想象你在练字，旁边站着一位书法家，他只盯着你笔画的粗细曲直提意见，却从不告诉你这个字到底写对了没有。你可能把一个原本正确的字改得面目全非，就因为书法家觉得某一笔不够飘逸。如果不这样逐字纠正，老师的知识就传不进来；但如果只这样逐字纠正，正确答案也可能被改坏。论文里的实验证实了这一点：用1.7B参数的学生模型和8B参数的教师模型做测试，发现教师和学生在答案上的分歧程度，在区分「这道数学题做对了」和「做错了」上，几乎是瞎猜水平（AUROC只有0.50左右，0.5就是完全碰运气）。也就是说，教师皱眉头的地方，不代表学生真的错了。

第二条路叫**带可验证奖励的强化学习**

带可验证奖励的强化学习（RLVR，Reinforcement Learning with Verifiable Rewards）：不管学生写的过程如何，只看最后答案对不对，对了给奖励，错了不给。其中最常用的具体算法叫GRPO（Group Relative Policy Optimization，组相对策略优化），它让学生对同一道题生成一组答案（比如16个），然后比较这组答案里谁做得好，谁做得差，用相对表现打分。

这条路的好处是只认结果，不会被风格差异带偏。但代价是反馈太粗糙：一组答案里不管哪个字写得好不好，只要整篇答案最后结果一样，这组答案得到的分数就完全一样。更糟的是，如果这组16次尝试全部做错了，那么这组内部的相对分数就会全部变成零，等于白训练了这一轮。

你可以把这想象成一场考试只打总分，不给任何批注。如果你和同桌这次都考了零分，老师连一个「你比他多扣了5分」的区分度都给不出，你根本不知道自己哪里该改进。如果不用这种只看结果的打分方式，就没法避免被风格误导；但如果只用这种方式，碰到全组都失败的难题，学生就彻底学不到东西。

论文的核心发现是，这两条路的**盲区恰好互补**

教师点评密集但不知道对错，考官打分知道对错但信号太粗且会在全错时完全失效。于是作者提出了一个很自然的想法：能不能让考官来决定什么时候该听老师的话，而老师只负责告诉学生具体该怎么改？

**DiffGate的设计：让考官当裁判，让老师当向导**

论文提出的方法叫DiffGate，字面意思是「难度门控」。它的核心逻辑分三步。

第一步，只在学生做错的题目上才启用教师指导。

如果学生这道题已经做对了，教师的意见就完全不采纳，维持原样。这解决了前面提到的「正确答案被老师改坏」的问题。

这就好比一个已经考了满分的学生，不需要家教再来逐字修改他的解题过程，哪怕家教觉得某个步骤写法不够漂亮。改了风险更大，不改反而更安全。如果不设这道门槛，教师的意见会无差别地覆盖到所有答案，包括那些本来就正确的，论文的实验数据也验证了这点：训练后期，教师和学生在「正确答案」上的分歧程度，反而比在「错误答案」上更大（1.7B模型在数学任务上差了3.48倍），这说明教师的意见本身并不总是可靠的指路明灯，盲目全盘采纳只会帮倒忙。

第二步，教师指导的力度要根据题目难度动态调整。

如果一组16次尝试全错了（这时候GRPO完全没信号），教师指导拉满；如果这组里大部分都做对了，教师指导的力度就调得很低。论文用一个公式来实现这个逻辑：

**难度门控因子** = (1减去组内通过率)的γ次方，再乘以（1减去该次是否答对）

当组内通过率是0的时候（全组做错），这个因子等于1，教师全力介入；当组内通过率接近1（几乎全对）的时候，因子趋近于0，教师基本不插手。

这个设计很像一个家庭教师只在孩子完全不会做某类题时才重点辅导，而孩子已经掌握得差不多的题型就不再反复讲解。如果反过来，对孩子已经熟练的题型还要逐字纠正，等于浪费精力在不需要的地方，还可能把孩子原本正确的思路搅乱；如果对孩子完全不会的题型也放任不管，等于把最需要帮助的地方留白。论文里的数据很直观：在代码生成任务中，训练后期大约还有20%的题目属于「全组做错」的情况，这时候GRPO完全没有反馈可用，而DiffGate因为有这套门控机制，依然能在这些题目上持续提供学习信号。

第三步，教师的意见不能无限放大，必须有上限。

教师和学生在某个字上的判断差异，原始数值可能非常大（论文里测到过最高相差17.7个自然对数单位），如果直接拿这个差值去更新模型参数，少数几个分歧极大的字就可能主导整个训练过程，把原本稳定的学习节奏彻底打乱。

论文用了一个数学技巧，把原始差值通过**双曲正切函数**压缩到一个有限区间内。

双曲正切函数（tanh）：一种能把任意大小的数值平滑地压缩到固定范围（这里是负2到正2之间）内的函数，小的差值基本不变，大的差值会被削弱。

具体做法是把原始的对数概率差值Δ，代入 2×tanh(Δ/2) 这个公式。小的分歧原样保留，大的分歧会被「压扁」，但不会被直接丢弃，方向还是对的，只是幅度受限。

这就像给一个情绪容易激动的顾问设置发言音量上限。他提的意见你还是会听，但不管他多激动，声音不会盖过所有其他人的意见。如果不设这个上限，论文的消融实验显示，在0.6B参数的代码生成任务上，训练过程中最大的一次梯度更新幅度会从4.3飙升到342，训练会变得极度不稳定，最终的准确率也会下降1到1.5个百分点。

把这三步合在一起，就得到了DiffGate的核心公式：每个字的更新信号等于GRPO给出的组内相对分数，加上「难度门控因子」乘以「被压缩过的教师意见」。当学生这道题做对了，后一项自动归零；当全组都做错了，GRPO那一项本身就是零，全靠教师意见撑起训练信号；当难度适中时，两者按比例共同起作用。

**结果到底怎么样**

论文在Qwen3系列的0.6B和1.7B参数学生模型上做了测试，教师模型固定用8B参数版本，分别在数学推理和代码生成两个领域训练。

代码生成任务上，DiffGate相比单纯用GRPO，平均正确率（avg@8，即8次采样的平均准确率）在两个模型尺寸上分别提升了1.7和1.8个百分点，解题覆盖率（pass@8，即8次采样里至少对一次的比例）分别提升了1.6和5.7个百分点。

数学推理任务上，平均正确率和GRPO基本持平（相差不到0.5个百分点），但解题覆盖率提升了1.1到3.9个百分点。

这里有个很有意思的细节值得展开说说：为什么是「解题覆盖率」提升得更明显，而不是「平均正确率」？论文给出的解释是关于**策略熵**

策略熵：衡量模型在生成答案时「探索的多样性」，熵越高，说明模型愿意尝试不同的解法路径；熵越低，说明模型越来越固执地只用一种套路。

单纯用GRPO训练的模型，后期策略熵会急剧下降，1.7B模型在数学任务上熵值从0.30一路跌到0.048，说明模型变得越来越「一根筋」。这样做的好处是训练集上的通过率看起来很高（GRPO的训练解题率确实比DiffGate高），但代价是模型学会了一套相对狭窄的解题套路，一旦碰到稍有变化的新题就容易翻车，体现在评测集上就是平均正确率没有明显优势。而DiffGate因为保留了持续的教师信号，策略熵能稳定维持在0.42到0.44的区间，相当于模型始终保留了多条解题路径的备份，碰到同一道题多采样几次，总有更大概率蒙对答案，这正好解释了pass@8为什么会更高。

这就好比两个学生准备考试，一个只背熟了一种解题模板，考试时如果题目稍微换个说法就懵了；另一个掌握了三四种不同的思路，哪怕其中一种卡住了，换个角度还能试试别的。平时模拟测验里，死记硬背的那个可能分数更高更稳定，但真到了题型稍有变化的大考，灵活的那个反而更容易蒙对。如果训练时一味追求单一路径的极致优化，短期指标好看，长期的应变能力反而会打折扣。

论文还测试了一个很实际的问题：这些在数学题上训练出来的模型，拿去做完全没见过的科学题（比如研究生水平的GPQA题库、MMLU-STEM题库）会表现如何？结果显示，DiffGate训练出的1.7B模型在这些跨领域任务上平均正确率达到39.2，明显超过基础模型的27.5和纯GRPO训练模型的14.3（有意思的是，GRPO在这个迁移测试上反而比没训练过的基础模型更差，这进一步印证了前面说的「策略变得过于狭窄」的问题）。

论文还做了一系列拆解实验，来验证DiffGate里每个设计到底有没有用。

比如把「难度门控」去掉，只保留固定强度的教师指导（相当于教师永远用同样的音量说话，不管题目难不难），结果在数学任务上平均正确率下降了2.4个百分点，在代码任务上下降了1.3到1.4个百分点，证明动态调整强度确实比一刀切更有效。

再比如把「压缩函数」去掉，直接用原始的分歧数值，结果不仅训练梯度变得更不稳定（中位数梯度范数增大1.4到3.3倍），最终的测试准确率也普遍下降了1到1.5个百分点。

还有一个很直观的实验是改变每次采样的数量。如果从每题采样16次改为只采样4次，组内「全部做错」的情况会明显增多，这时候GRPO的表现下降幅度（平均1.9个百分点）明显大于DiffGate（平均1.2个百分点），说明DiffGate在奖励信号稀疏的场景下确实更有韧性，恰好印证了它当初的设计初衷。

论文里还给了几个具体的代码案例，很能说明问题的本质不在于算法复杂，而在于一些非常朴素的逻辑错误。比如有一道题要求统计某个数字以下的质数个数，GRPO训练出来的模型犯了一个经典的「差一错误」，把判断区间多算了一位，导致16次采样全部出错；而DiffGate训练出来的模型16次全部正确。另一道题要求把列表里「偶数位置上的奇数」加总，GRPO训练出的模型把「偶数位置」和「奇数位置」搞反了，16次全错；DiffGate的模型同样16次全对。这些错误都不是什么深奥的数学原理，就是实现细节上的疏忽，但恰恰是这种细节疏忽，才是教师逐字指导最能发挥作用的地方。

这篇论文建立在一系列已有研究的基础上。2024年的EOPD尝试根据教师的不确定性来调整蒸馏强度，缓解反向KL散度容易陷入「只模仿教师最自信部分」的问题；2026年的Uni-OPD提出用结果信息来校准教师指导的可信度。而更早一些，GRPO算法本身诞生于2024年的DeepSeekMath论文，后来被DeepSeek-R1进一步发扬光大，成为当下强化学习训练大模型的主流方法之一。DiffGate相当于站在这两条研究脉络的交叉点上，试图把「教师逐字指导」和「考官结果打分」这两种长期被分开研究的思路真正融合到一起，而不是简单地把两个损失函数加在一起了事（论文专门做了对比实验证明，简单相加的效果明显不如难度门控）。

论文也坦诚地指出了一些局限。首先，实验规模有限，最大只测到4B参数的学生模型，更大规模下结论是否依然成立还有待验证。其次，教师模型本身的可靠性在最难的题目上会明显下降，论文发现在学生模型完全做不出来的那批代码题里，教师模型自己的通过率也只有42%到50%左右，远低于其他难度区间的94%到98%。这意味着在最需要帮助的地方，老师自己也可能不太靠谱，这是一个值得后续研究继续探讨的方向，比如能不能让系统自动判断「这道题教师说的话到底可不可信」，而不是一视同仁地采纳。

写在后面

读完这篇论文，最触动我的其实不是DiffGate这个方法本身有多精巧，而是论文里那张揭示「教师点评根本不靠谱」的实验图。研究者测试发现，教师模型对学生答案的分歧程度，在区分「这道题做对了」和「做错了」上几乎等于瞎猜，AUROC只有0.49到0.50。

这让我想起一个很朴素的道理：我们总是默认「专家意见越密集越好」，但这篇论文用数据戳破了这个假设。密集的反馈如果和真正的目标脱钩，反而可能是一种干扰项，甚至比没有反馈更糟，因为它会让系统误以为自己在学习有用的东西。

另一个值得单独拿出来说的细节是关于策略熵的那组对比。纯粹追求结果正确率的训练方式，会让模型在训练集上表现越来越好，但代价是它逐渐放弃了多样化的解题路径，变成了一个「在熟悉题型上很强，但缺乏应变能力」的专才。这其实是很多优化系统的通病：当你只盯着一个单一指标拼命优化时，系统往往会找到一条最省力的捷径，而这条捷径未必是你真正想要的那种「鲁棒的聪明」。

论文里还有一个没有被充分展开但很值得继续追问的问题：如果教师模型自己在最难的题目上也不靠谱，那「难度门控」会不会反而把最不可信的意见，用在了最该慎重对待的地方？这个悖论论文自己也承认了，留给了后续研究。我很好奇，如果给系统加上一层「教师置信度评估」，结果会不会完全不一样。

Q&A

Q1：DiffGate是什么？

A：DiffGate是一种训练AI语言模型的新方法，它让考官（验证答案对错的机制）决定什么时候该听老师（更强大的教师模型）的建议，只在学生模型做错题目且难度较高时才启用教师的逐字指导，避免盲目听取教师意见改坏正确答案。

Q2：DiffGate和传统的GRPO强化学习方法比起来有什么优势？

A：DiffGate在代码生成任务上平均正确率提升1.7到1.8个百分点，解题覆盖率提升1.6到5.7个百分点；在数学任务上虽然平均正确率基本持平，但解题覆盖率提升1.1到3.9个百分点，且训练过程更稳定，策略多样性保留得更好。

Q3：DiffGate训练出来的模型在没见过的任务上表现会更好吗？

A：会。论文测试显示，用数学题训练出的DiffGate模型，拿去做完全陌生的科学题（如GPQA、MMLU-STEM）时，平均正确率达到39.2分，明显超过只用GRPO训练的模型（14.3分），说明它学到的能力迁移性更强。