当AI老师开始偷看答案：一场关于"抄近道"的训练事故

你有没有遇到过这种情况：老师布置了一道题，你还没做出来，老师就把答案先告诉了你，然后让你"模仿"这个解题过程重新做一遍。

听起来挺荒谬对吧。但这正是当下大语言模型训练里一种很流行的方法在做的事情,只不过披上了技术的外衣。

这篇来自伦敦国王学院、慕尼黑大学和腾讯优图实验室的论文,研究的就是这种训练方式里藏着的一个大坑,以及他们想出的一个挺巧妙的修补办法。

一场"自己教自己"的训练游戏

先说说背景。训练大语言模型让它变得更聪明,传统做法是找一个更厉害的"老师模型"来指导一个"学生模型"。但这样成本很高,你得养两个模型。

于是有人想出了一个省钱的办法:让同一个模型同时扮演老师和学生两个角色。

具体怎么操作呢。给模型一道题,学生身份的它先自己尝试解答,一步一步往下写。这时候老师身份的它登场了,老师会偷看到一个学生看不到的东西,也就是这道题的标准答案或者验证过的正确解法。老师拿着这个"小抄",在学生写的每一步后面,都给出一个"如果是我,下一个词我会怎么写"的概率分布。学生呢,就被要求去模仿老师在这种"开卷"状态下给出的判断。

这种方法有个专门的名字:

在线策略自我蒸馏（On-Policy Self-Distillation，简称OPSD）*：用同一个模型同时充当老师和学生,老师额外看到解题的"特权信息"（比如验证过的正确答案），并据此指导学生在自己生成的内容上逐词学习。

这里的"特权信息"也是个关键概念:

特权信息（Privileged Information，简称PI）*：训练时额外提供给老师模型、但学生在实际使用时接触不到的信息，通常是经过验证的正确答案或解题思路。

这个思路乍听挺合理,毕竟老师多知道点东西,应该能给学生更靠谱的指导。但研究团队发现,这里头藏着一个很隐蔽的问题。

偷看答案的老师,会变得"短视"

设想一下,如果你是那个"开卷"的老师,你手里已经攥着标准答案是"42",你在批改学生写到一半的解题过程时,会不会更倾向于直接告诉学生"接下来就写42吧",而不是耐心引导他把每一步验算清楚?

这就是论文揭示的核心问题。当老师模型看到了标准答案,它的注意力会被这个答案强烈地牵引,于是它给出的"下一个词该怎么写"的建议,会越来越偏向于直接commit到那个答案上,而不是鼓励学生去验证、去反思、去考虑其他可能性。

论文里用了一个很专业的量化指标来描述这种偏移:

对数概率偏移（log-probability shift）*：衡量某个词在"老师看到特权信息后"和"老师没看到特权信息时"的概率变化幅度，数值越大说明特权信息对这个词的影响越强。在论文里用符号 u_t(v) 表示，本质上是信息论中的"点间互信息"（PMI）。

如果这种偏移总是在强化那些"马上给出答案"的词,同时打压"等等,我再检查一下""不过,我们再想想别的可能"这类表达犹豫和反思的词,那么老师给出的概率分布就会变得越来越集中,用专业话讲就是熵（entropy）降低了。

熵这个词可能有点抽象,这里解释一下:

熵（entropy）*：在这篇论文的语境里，熵衡量的是一个模型在预测下一个词时的"选择多样性"。熵越低，说明模型越倾向于只认准一个答案，不太考虑其他可能性；熵越高，说明模型保留了更多探索空间。

这事儿为什么要紧?因为学生是要去模仿老师的概率分布的。如果老师自己都变得"一根筋",学生学了之后也会跟着变得一根筋。训练用的样本又是学生自己生成的内容,下一轮训练时,那些"另辟蹊径"的表达方式因为上一轮被压低了概率,就更难被采样到,久而久之,学生探索不同解题路径的能力就被一点点磨掉了。

这就好比一个总喜欢直接把答案念给你听的家教老师。短期看,你做题的正确率可能会提高,因为你记住了答案。但长期看,你会越来越依赖"等老师说答案",遇到没见过的新题型,你反而比那些被逼着自己琢磨、自己验算的同学更容易卡壳。如果这个家教从头到尾都不克制自己"剧透"的冲动,学生最后学到的不是解题能力,而是"猜老师会给什么答案"的能力。这正是论文想要避免的局面。

给老师戴上一个"紧箍咒"

那怎么办呢?研究团队没有去改模型架构,也没有去改训练的目标函数,更没有去改那个"特权信息"本身。他们做的事情说起来挺简单:给老师加一句话。

具体来说,就是在老师模型看到特权信息的同时,额外塞给它一个系统提示词(system prompt),这个提示词的内容大概是"你要验证每一步、考虑其他可能性、在下结论之前先反思"。这个提示词只给老师看,学生在生成答案的全过程中,从来都不知道这句话的存在。

这个方法被命名为带有言语正则化的自我蒸馏（Self-Distillation with Verbal Regularization,简称VRSD）*：通过给自我蒸馏中的老师模型额外添加系统提示词，引导它更谨慎地使用特权信息，从而缓解老师过早下定论的倾向。

这里"言语正则化"这个说法挺有意思。传统意义上的正则化往往是在损失函数里加一项数学惩罚,逼着模型别过拟合。而这里的"正则化"手段是语言本身,用的是模型自带的"听得懂人话、会按指示办事"的能力,去约束它看到特权信息后的行为。

这就像给一个容易冲动下结论的朋友提前打个招呼:"等会儿不管你多确定答案,先把你的推理过程说一遍,再给结论。"你没有改变他已经知道的信息,但你改变了他表达这个信息的方式,逼着他把思考过程留下来,而不是直接甩出结论。如果没有这句提前的叮嘱,这个朋友大概率还是会原形毕露,一张嘴就是答案,中间的思考全被跳过了。

研究团队设计了两种提示词的用法。

一种叫单一提示（VRSD single），所有的训练样本都用同一套综合性的提示词,内容涵盖反思、检查、重新考虑这些通用要求。另一种叫多提示（VRSD multi），他们写了好几个针对不同侧面的提示词,比如一个专门强调"把所有选项都过一遍,排除错的",另一个专门强调"从底层原理推导,而不是凭直觉",然后把训练样本平均分配给这几个提示词,让老师在不同的侧重点下分别指导。

论文里展示了化学任务对应的三个多提示例子,一个要求"绝不轻信第一直觉,把四个选项都过一遍并给出具体理由",一个要求"先找出题目考察的核心原理再去匹配选项",还有一个要求"主动唱反调,论证一个相反答案成立的可能性"。这几个提示词看着像是在模拟几个不同风格的老师,各自带着自己的审题习惯来批改作业。

用数学语言讲清楚"克制"这件事

光凭直觉说"加个提示词能让老师没那么偏激"还不够有说服力,研究团队做了一套理论分析,试图从数学上说清楚这件事到底是怎么发生的。

他们提出了一个叫仿射衰减模型（affine attenuation model）*：假设加了提示词之后的老师，相对于没加提示词的老师，对特权信息的偏好程度会按照一个固定的比例系数被"缩水"，这个系数记作γ（读作gamma），如果γ小于1，就说明提示词确实在削弱特权信息的影响力。

通过分析真实数据,他们发现在三个不同的模型(Qwen3-4B、Qwen3-8B、OLMo-3-7B-Instruct)、四个不同任务上,这个γ系数的95%置信区间全都落在1以下,数值大致在0.66到0.95之间。换句话说,提示词确实在统计意义上显著削弱了特权信息对老师判断的拉扯力度,而且在批改作文题和写SQL查询这类任务上削弱得更明显(γ大概0.66到0.74),在化学选择题和写代码任务上削弱得稍弱一些(γ大概0.85到0.95)。

更进一步,论文给出了一个定理,证明了在什么条件下,这种"衰减"操作真的能让老师的熵重新升高,而不是继续往下掉。这个条件说起来有点绕,简单理解就是:如果老师在没加提示词的状态下,那些"被特权信息偏爱的词"恰好也是老师本来就觉得概率比较高的词(专业说法是两者存在正相关,即协方差为正),那么加入适度的提示词衰减,就一定能让老师的预测分布重新变得更"宽容"一些,给那些犹豫、反思的表达留出空间。

研究团队还专门去验证了这个"正相关"的前提在真实数据里站不站得住脚。他们挑出那些特权信息对采样结果影响特别大的位置(影响幅度超过某个阈值),计算协方差,结果在12个模型任务组合里,协方差均值都是正的,数值在0.43到0.58之间,而且79%到91%的位置协方差都是正的。这说明理论推导出的那个条件,在实际场景里是大概率成立的,给这套方法提供了比较扎实的数学支撑。

四道题,三个模型,见真章的时候到了

光讲理论不够,论文在四个有自动评判标准的任务上做了实打实的实验:短答案评分(用的是ASAP-SAS数据集,相当于批改学生主观题)、化学知识问答(SciKnowEval数据集)、SQL查询生成(Spider数据集)、Python代码生成(LiveCodeBench数据集)。模型则选了Qwen3-4B、Qwen3-8B和OLMo-3-7B-Instruct三个。

核心指标是Pass@1,也就是模型在不借助多次尝试的情况下,一次性答对的平均概率。

结果显示,VRSD多提示版本在12个模型任务组合里有11个跑赢了原始的OPSD方法,平均提升了3.9个百分点。具体到每个模型,Qwen3-4B提升了7.2个百分点,OLMo-3-7B-Instruct提升了2.8个百分点,Qwen3-8B提升了1.6个百分点。

有一个场景特别能说明问题。在Qwen3-4B做SQL任务时,原始的OPSD训练出来的学生模型,Pass@1居然比训练前的模型还要低,从71.3%掉到了69.8%,也就是说这次"自我教学"反而把模型教笨了。而换成VRSD多提示之后,这个数字直接拉到了81.0%,不仅没有退步,反而大幅超越了训练前的水平。

这个对比挺有警示意义的。如果完全不管老师"抄近道"的毛病,这种自我蒸馏方法不仅不保证能提升模型,甚至有可能把模型越训越差。而仅仅是给老师加一句提示词,就能把一个负面案例彻底扭转成正面案例。

熵真的保住了吗?数据说了算

理论分析说"适度衰减能保住熵",实验是不是真能观察到这个现象呢?

论文里专门测量了训练完成后学生模型自身输出的熵。结果是,在三个模型、四个任务共24组对比里,VRSD在其中19组都比OPSD保持了更高的熵。

最典型的例子还是Qwen3-4B的SQL任务。原始OPSD训练出来的学生,熵只有0.03,这个数字低到什么程度呢,基本相当于模型对下一个词该写什么已经"认死理"了,几乎不留任何第二选择的余地。而用了VRSD单提示后熵变成0.49,用多提示后变成0.54,提升了十几倍。恰好就是这组对比,Pass@1从69.8%跳到了81.0%。熵的回升和准确率的提升几乎是同步发生的。

这个现象其实挺值得玩味。通常我们会觉得,一个越"确定"的模型应该越可靠,但这个实验恰恰说明了相反的情况:在训练过程中如果过早地把所有可能性锁死,反而会伤害模型最终的表现。这就像一个学生做题时死记硬背了某道题的答案,下次换了个相似但不完全一样的题目,他因为脑子里只有那一种解法,反而更容易翻车;而那个保留了多种解法思路的学生,遇到变化时反而更游刃有余。

学生到底学没学到老师想教的"规矩"

VRSD的提示词告诉老师要检查、要反思、要考虑多个选项,那学生有没有真的把这些行为学到手呢?论文做了一个挺细致的行为分析,用一套不依赖AI打分、完全靠规则匹配的方法,去统计学生生成的答案里,到底有没有出现这些被鼓励的行为模式。

比如在评分任务里,检查了学生是否明确引用了打分规则里的具体条目,是否直接从原文里摘抄了证据片段。结果显示,相比原始OPSD,VRSD单提示版本让"检查规则条目"这一行为的出现频率平均提升了56.2个百分点,"引用证据"提升了68.2个百分点,而且这个提升在全部三个模型上都观测到了。

在化学任务里,检查学生是否讨论了全部四个选项、是否明确排除了错误选项、是否对结论做了复核。多提示版本在"讨论全部选项"上提升了43.7个百分点,在"排除错误选项"上提升了22.6个百分点。

在SQL任务里,检查学生是否点名了数据库表的具体名称、是否说明了表之间连接用的键、是否规划了查询的各个子句。这三项指标在两种提示词设计下都提升了29到53个百分点不等。

这些数字说明了一件事:老师在训练时展示出的那种"慢下来、多想想"的行为习惯,确实渗透进了学生后续独立作答时的习惯里,即便学生在考试时根本看不到这些提示词,也看不到那个标准答案。

推理到底是不是"走过场"

这里还有一个更深的问题值得追问:学生嘴上说要检查、要反思,它写出来的那一长串推理文字,到底是真的在指导它得出答案,还是说只是摆摆样子,写完之后该怎么答还是怎么答,推理过程根本没起作用?

研究团队借用了一个叫截断干预（truncation intervention）的实验手法来检验这件事。做法是,把学生写的推理过程从中间截断,只保留一部分甚至完全不保留,然后强迫模型直接跳到给出最终答案,看看答案会不会因此变化。

这里引出两个评价指标:

推理增益（Reasoning Gain，简称RG）*：保留完整推理链条时的答对率，减去完全不给推理链条时的答对率，数值越高说明模型越依赖自己写的推理过程来得出正确答案。

误导性推理率（Misleading-reasoning Rate，简称MR）*：模型在没有推理过程时碰巧答对了，但完整保留推理过程后反而答错了的比例，这个数字越低，说明推理过程越不容易把原本正确的直觉带偏。

在Qwen3-4B上的测试结果显示,原始OPSD训练出的学生,平均推理增益是3.7个百分点,而VRSD单提示版本达到了5.8个百分点,多提示版本是5.0个百分点。在评分任务上这个差距尤其明显,VRSD两个版本的推理增益都是OPSD的两倍以上。

这说明VRSD训练出来的学生,它写的那些推理文字不是花架子,是真的在帮它把答案想对。这跟前面观察到的行为模式变化是互相印证的,学生确实把"先思考再回答"这件事内化了,而不只是学会了在输出里插入一些看起来像是在反思的句子。

为什么单独拆开提示词效果反而更好

这里有一个挺有意思的消融实验。研究团队想搞清楚,把好几条不同角度的提示词(比如前面提到的化学任务三条提示词)直接拼接成一大段话塞给老师,和把这几条提示词分别用在不同的训练样本上,哪种效果更好。

结果是分开用效果更好。在Qwen3-4B的四个任务上,"多提示"设计全部跑赢了"把提示词全部拼接成一条"的做法,领先幅度在0.5到4.7个百分点。更意外的是,直接拼接所有提示词,在三个任务上的表现甚至还不如完全不加提示词的原始OPSD。

这个发现挺反常识的。按理说,信息量更大、覆盖面更全的指令应该效果更好才对,但实验告诉我们恰恰相反。一种可能的解释是,把太多不同侧重点的要求堆在一起,反而会让模型的注意力被稀释,顾此失彼,哪条都做不扎实;而一次只强调一个侧面,让不同的训练样本各自专注打磨一种能力,反而能让每种能力都学得更扎实,最后汇总起来反倒形成了互补的效果。

这有点像教练训练运动员,如果同一节训练课里同时要求你练耐力、练爆发力、练柔韧性,还得练战术配合,你可能哪样都练不精。但如果这周专攻耐力,下周专攻爆发力,分开打磨,反而每一项都能扎实进步,最后整体水平反而更高。如果不采用这种分开训练的方式,运动员大概率会陷入"什么都学了一点,什么都不精通"的尴尬境地。

当然也不是所有提示词都管用。论文里特意提到,有两条带着"主动唱反调、挑战自己答案"色彩的提示词(化学任务的d3和评分任务的d4),虽然初衷是想让老师更谨慎,但实际效果却适得其反,导致老师即使手握正确答案,给出的续写内容准确率也大幅下滑。这也提醒我们,鼓励反思这件事得有个度,过犹不及,逼着模型没完没了地自我怀疑,反而可能把原本正确的判断都给动摇了。

老师的提示词到底改变了什么

论文还做了一个很直观的分析,直接去看老师模型被不同提示词影响后,写出来的续写文本内容发生了什么变化。

做法是把学生写了一半的答案拦腰截断,让没训练过的原始Qwen3-4B模型分别在三种条件下继续写下去:只看问题、看问题加正确答案、看问题加正确答案再加提示词。

结果很能说明问题。只给正确答案不给提示词的老师,续写准确率确实提升明显,比如化学任务从79%提到95%,SQL任务从87%提到99%。但这个老师在SQL任务上几乎是直接把正确答案里的查询语句原封不动抄了一遍,根本不走推理过程;在代码任务上,老师反而比不给答案时更倾向于跳过中间思路,直接甩出代码。这就是论文最初担心的那种"抄近道"现象的直接证据。

而加上提示词之后,这种情况被明显扭转。还是以化学任务为例,针对"排除选项"设计的提示词,能让老师在39%的续写里主动去论证排除其他选项的理由,远超原始老师的6%,而且准确率基本没有损失,仍然保持在95%左右。在SQL任务和代码任务上,针对"验证"设计的提示词,让老师主动做边界检查、测试追踪的比例飙升到73%到78%,相比原始老师只有6%到9%。

这组数据相当于给了我们一个"透视镜",直接看清了提示词是怎么在老师的脑子里起作用的:它没有改变老师知道的信息,但改变了老师把这些信息转化成文字的方式,逼着它把那些原本会被跳过的思考步骤重新写出来。

写在后面

读完这篇论文,我觉得最值得拿出来单独说的,其实是那个"仿射衰减模型"背后暗藏的一个假设:提示词对模型的影响,可以被简化为一个简单的线性缩放加偏移。这个假设看起来很粗糙,现实中语言模型的内部运作肯定复杂得多,但有意思的是,作者们没有止步于"拍脑袋设计个提示词试试看",而是真的去验证了这个简化假设在统计意义上站不站得住脚,并且基于这个假设推出了一个可以证明的充分条件。这种"先用简单模型做近似,再去检验近似是否合理"的研究路数,本身就是一种值得学习的工作方法。

另外有个细节让我印象很深,就是那两条"唱反调"提示词翻车的案例。这其实在提醒我们一个更普遍的道理:鼓励反思和自我怀疑本身没有错,但如果缺了一个"收尾"的机制,一味鼓励怀疑,反而可能让本来正确的答案也被怀疑掉。这跟教育里常说的"过度反思""分析瘫痪"是一回事。好的反思应该是有方向的,是奔着把事情想得更周全去的,而不是为了反思而反思。

这篇论文留下的一个开放问题也挺值得琢磨:它用的提示词是人工写出来的,针对每个任务都得专门设计。如果换一个完全陌生的任务,这套提示词还管用吗?有没有可能让模型自己去学习、自己去调整"应该用多大力度去克制自己看到答案后的冲动"?这大概才是这类方法真正走向通用化之前,必须跨过去的一道坎。

Q&A

Q1：带有言语正则化的自我蒸馏（VRSD）是什么？

A：VRSD是一种改进训练大语言模型的方法，它在老师模型看到标准答案的同时额外加入系统提示词，要求老师在给学生指导前先验证、反思、考虑其他可能性，从而避免老师因为提前知道答案而走捷径，让学生学到更扎实的推理能力。

Q2：为什么老师模型看到特权信息后会出问题？

A：因为老师一旦提前知道了正确答案，它给出的下一步建议会更倾向于直接奔向这个答案，而不是耐心引导学生验证和反思，这会导致老师的预测变得过度集中，学生学了之后探索不同解题思路的能力也会被削弱。

Q3：VRSD相比原来的自我蒸馏方法效果提升明显吗？

A：在三个模型、四个任务的12组测试里，VRSD有11组跑赢了原始方法，平均提升3.9个百分点，还有一个案例原始方法训练后反而变差，用VRSD后直接从69.8%提升到81.0%，效果相当明显。