AI给自己开小灶：教它作弊后，它学到的东西藏在了哪里

你有没有想过这样一件事：如果给一个学生发一份"内部参考答案"，让他对着答案学习，然后收走答案，期望他能把答案里的智慧真正内化到脑子里，这事能成吗？

这正是最近一批AI训练方法在做的事。而一篇名叫PR-OPD的论文发现，这件事可能一直都做错了方向。

**先说清楚，这件事到底在解决什么问题**

现在训练能完成多步骤任务的AI智能体,比如在网上购物、在虚拟房间里找东西，常见做法是强化学习。

强化学习*：让AI通过反复尝试和试错，根据最终结果好坏（奖励）来调整自己的行为策略。

但这里有个麻烦。一个智能体可能要走十几步才能完成一个任务,查找商品、点击链接、比较价格、下单,但系统只在任务结束时给一个分数,成功还是失败。这就像老师只在学期末告诉你"你这学期不及格"，却不说你哪一次作业哪一步做错了。十几步操作共享一个分数，AI很难搞清楚到底哪一步是败笔。

为了解决这个"反馈太稀疏"的问题，研究者想出了一个办法，叫做"特权自蒸馏"。

特权自蒸馏*：让同一个AI模型扮演两个角色。一个是"学生"，正常做任务，看不到额外信息；另一个是"老师"，拿着事后才知道的"小抄"（比如从这次失败里总结出的教训）重新审视学生刚才的操作，然后把老师的判断传授给学生，希望学生以后不用小抄也能表现得像有小抄一样好。

这个思路听起来很合理。关键是，这个"传授"的过程具体怎么做？

目前主流做法是：让老师看着小抄，重新走一遍学生刚才生成的那些词，记录下老师在每一步会给出的"词汇概率分布"（也就是老师认为下一个词该是什么的可能性排序），然后让学生去模仿这个概率分布。这个过程业内叫作"在线策略蒸馏"（on-policy distillation）。

论文的作者们做了一个很朴素但极其关键的实验，意外地撕开了这套方法的一个大洞。

**第一个发现：优势看不见**

研究者让同一个AI，在网购任务（WebShop）里，分别"裸奔"（不带任何提示）和"带着小抄"去做任务。结果很明显：不带小抄时成功率是42.2%，带着小抄时直接跳到56.2%。小抄确实让AI变聪明了，这点毫无疑问。

但接下来的检查让人意外。研究者把带小抄和不带小抄这两次运行的"下一步该说什么词"的概率拿出来对比，发现：加了小抄之后，只有不到四分之一的词，概率发生了明显变化。而在真正做决策的那些"动作词"上，几乎没有变化。

这意味着什么？意味着小抄确实让AI表现更好了，但这个"变聪明"的证据，几乎没有留在AI说出来的话（或者说，输出的词汇概率）里。你让学生去模仿老师嘴里说的话，但老师嘴上几乎什么都没变，学生能模仿到的东西自然就少得可怜。

论文把这个现象叫做"隐形优势"（Invisible Advantage）。

这就好比一个经验丰富的老司机坐在你旁边指导你开车。他看着前方说"直走"，你看着前方也说"直走"。表面上你俩说的词完全一样。但他心里其实多算了三步：前面有个减速带、右边车道有人要并线、这个路口的红绿灯快变了。他嘴上没多说一个字，脑子里却转了很多弯。如果你只听他说什么词，你永远学不到他脑子里多转的那几个弯。如果不换一种方式去观察他，你永远只能原地踏步。

**第二个发现：优势藏在脑子里**

既然嘴上（输出概率）看不出变化，那变化到底去哪了？

研究者接着检查了AI内部的隐藏状态。

隐藏状态*：神经网络每一层处理信息后留下的内部数值，可以理解成AI"脑子里"正在进行的、还没转化成具体语言输出的思考痕迹。

这次结果完全不同。超过80%的词，它们对应的隐藏状态都发生了明显变化,包括那些在输出概率上几乎毫无波动的"动作词"。研究者进一步训练了一个简单的分类器（叫作"线性探针"）去检验：能不能通过隐藏状态看出这段话是在哪个小抄的加持下生成的？结果是可以，而且准确率相当高。但如果换成用输出的词汇概率去做同样的判断，分类器基本就是瞎猜，跟扔硬币差不多。

这说明一件事：小抄带来的那些"多转的弯"，确实真实存在，只是它们被深深压在了AI的内部表征里，没有流露到最终说出的话上。

研究者还做了个验证性实验：直接让一个AI学生，不去模仿老师嘴上说的词，而是去模仿老师脑子里的隐藏状态。结果这个学生的表现，最终甚至超过了带小抄的老师本身。这就是论文里说的"值得对齐"（Much to Align）现象:老师的优势，确实可以通过隐藏状态传递过去，而且传递得很有效。

**于是PR-OPD诞生了**

既然问题找到了，答案也顺理成章：别去学老师嘴上说的那些概率了，直接去学老师脑子里的隐藏状态。

论文提出的方法叫做PR-OPD（特权表征在线策略自蒸馏）。整个训练过程分成两个阶段。

第一阶段是常规的强化学习热身。用一种叫GRPO的方法先让AI学会基本的任务操作能力。

GRPO*：一种强化学习算法，让模型针对同一个任务采样多条不同的尝试路径，比较它们的奖励高低，奖励相对高的路径会被加强，低的会被削弱，从而不需要额外训练一个独立的"打分模型"。

这一步是必须的，因为后面要让AI自己给自己写小抄,一个完全不会做任务的AI，是写不出有价值的反思总结的。

第二阶段才是真正的创新所在。每当AI完成一次任务尝试,无论成功还是失败,就让这个AI自己回头总结一份"事后小抄"，内容类似"这次做对了什么，下次该怎么用；这次哪里出错了，该怎么改"。然后，让AI重新带着这份小抄，把刚才自己说过的那些话重新"读"一遍，记录下每一层网络在每个词上留下的隐藏状态，这个带小抄重读的版本就是"老师"。再让没带小抄的"学生"版本，去对齐老师在每一层、每个词位置上的隐藏状态。

这里有个细节值得单独说一下：对齐的时候，学生的隐藏状态不是直接硬怼老师的隐藏状态，而是先经过一个轻量级的"投影器"（一个小小的多层感知机）处理一下，再去贴近老师。为什么要加这一层？因为学生的原始隐藏状态还要同时负责自己正常说话（输出下一个词），如果强行把它们掰成跟老师完全一样，等于让学生的大脑既要正常说话又要装成老师的脑回路，两件事互相打架。投影器相当于给学生一个"翻译缓冲层"：学生自己内部怎么想不用动，只需要学会把自己的想法翻译成和老师相近的样子。

这就像让一个还在学中文的外国朋友，不是强迫他改变自己的母语思维方式去说话，而是给他配一个贴身翻译。他脑子里还是用自己的语言在想事情，但说出来之前经过翻译器调整一下，让对方听得懂、听得顺。如果不设这个翻译缓冲层，直接强行让学生的隐藏状态和老师完全一致，会发生什么？论文的实验数据给出了答案:在参数更小的Qwen3-1.7B模型上，不加投影器时直接对齐，ALFWorld任务的成功率反而从GRPO基线的43.8%掉到了36.7%，比不训练还差。加上投影器之后，成功率回升到46.9%，成了所有方法里最好的结果。这说明小模型的"脑容量"本来就紧张，强行扭曲它的核心思考路径会直接伤害它原本的能力，必须给它留一个缓冲的余地。

而在参数更大的Qwen2.5-3B模型上，情况有点不同。不加投影器直接对齐反而达到72.7%的成功率，比加了投影器的71.1%还高一点点。这说明大模型本身的"脑容量"更充裕，直接对齐也不至于伤到它正常说话的能力。不过论文还是选择默认带上投影器，因为这样能让方法在不同大小的模型上都稳定地表现良好，不至于在小模型上翻车。

整个过程中，学生、负责写小抄的分析者、带着小抄重读的老师，其实是同一套参数、同一个模型，只是扮演了三个不同的角色。训练结束后，推理阶段完全不需要小抄、不需要额外的老师模型，也不需要额外计算开销，一切负担都在训练时就消化掉了。

**实验结果说了什么**

论文在两个经典测试环境里验证了这套方法：一个是家居任务环境ALFWorld（比如"去厨房把苹果放进冰箱"），另一个是网购环境WebShop（根据用户需求搜索购买合适的商品）。用了两种不同大小的模型骨架：Qwen2.5-3B-Instruct和Qwen3-1.7B-Instruct。

| 方法 | ALFWorld成功率(3B) | WebShop准确率(3B) | ALFWorld成功率(1.7B) | WebShop准确率(1.7B) |

|---|---|---|---|---|

| 纯GRPO | 66.4% | 55.5% | 43.8% | 43.0% |

| SDAR（对齐输出概率，用现成小抄） | 68.8% | 56.3% | 46.1% | 45.3% |

| Skill-SD（更强的输出概率蒸馏） | 69.5% | 59.4% | 45.3% | 54.7% |

| **PR-OPD（本文方法）** | **71.1%** | **67.2%** | **46.9%** | **57.0%** |

从表格可以看到，PR-OPD在两个环境、两种模型规模下都拿到了最好的综合成绩。相比纯强化学习的GRPO基线，在3B模型上，ALFWorld成功率提升了4.7个百分点，WebShop准确率直接涨了11.7个百分点。而对比那些同样用了"小抄"思路但只对齐输出概率的方法（比如SDAR、Skill-SD），PR-OPD依然领先一截,这进一步印证了前面的核心发现：小抄的真正价值藏在隐藏状态里，对齐输出概率这条路本身就是条窄路。

论文还做了一个很直接的消融实验来验证这一点。在完全相同的热身起点、完全相同的自生成小抄条件下，只对齐输出概率的方法（token-level OPD）成功率跌到57.8%，比GRPO基线还低8.6个百分点；而对齐隐藏状态的方法直接冲到72.7%，比基线高了6.3个百分点。两者唯一的区别就是读老师的方式不同,一个读嘴上说的词，一个读脑子里想的事,结果却相差了14.9个百分点。这个对比干净得几乎像是教科书级别的证据。

**什么时候开始"读心"效果最好**

论文还发现了一个挺有意思的细节：开始对齐隐藏状态的时机，比训练了多少步更重要。

在WebShop任务上，如果从第100步开始加入隐藏状态对齐（再训练50步到第150步结束），准确率是49.5%；但如果等到第120步才开始（只训练30步到结束），准确率反而冲到了57.0%,用更少的训练步数，换来了更好的结果。

这说明一个朴素的道理：AI得先把任务学得差不多了，它写出来的"事后小抄"才有参考价值。如果AI本身还很菜，让它去反思总结，总结出来的东西质量堪忧，拿这种低质量的小抄去训练，自然收效甚微。这跟教育场景很像:让一个刚入门的新手去写复盘报告，往往抓不住重点；但一个已经摸到门道的熟练工去复盘，总结出来的经验才真正值钱。

**小抄到底改变了AI大脑的哪些部分**

论文后面还做了一系列更细致的解剖式分析，想搞清楚小抄究竟在AI的神经网络里"动了什么手脚"。

他们发现，小抄带来的隐藏状态变化，不是均匀分布在网络的每一层，而是从网络的中间层开始逐渐增强，一直持续到比较深的层,而不是只集中在最后输出之前。这意味着，如果只对齐最后一层（之前有类似研究LastOPD这么做过），其实会错过信息最丰富的那一段。这也是为什么PR-OPD选择对齐网络的每一层，而不是只盯着最后一层。

另外一个发现也挺微妙：他们用了一种叫CKA（centered kernel alignment，一种衡量两组内部表征结构相似程度的工具）的分析方法，发现小抄虽然改变了隐藏状态的具体数值，但并没有把整个网络的"思维结构"打乱。同一层在加小抄前后的结构相似度平均高达0.996,几乎没变。但如果仔细看局部差异，会发现小抄确实在某些层做了"精准调整"，而不是粗暴地把一切推翻重来。这就像一个有经验的编辑在改稿子，不会把整篇文章推翻重写,他只在关键的几处动笔，但那几处改动恰恰决定了文章的质量高低。

### 写在后面

读完这篇论文，最让我意外的不是方法本身,对齐隐藏状态这个思路其实在模型压缩领域早就有人用过,而是这个发现本身揭示的一个更底层的问题：当我们评价一个AI模型"学到了什么"的时候，我们习惯性地只看它说出来的话，但这篇论文用实打实的数据证明，一个模型"知道的"和"说出来的"可能存在巨大的鸿沟。

这其实挺让人不安的。如果一个AI系统的内部表征里藏着大量它没有表达出来的信息，那我们平时用"看它输出什么"来判断模型能力、做安全审查、做行为评估，这套方法本身是不是就有盲区？论文引用的另一篇研究提到"可言说的表征构成了语言模型里的全局工作空间",换句话说，不是所有AI知道的事情，都会被它说出来。这个洞察的辐射范围，恐怕远远超出了"怎么训练一个更好的智能体"这个具体问题。

还有一点值得琢磨：论文里提到，论文中验证了即便是刚初始化、完全没训练过的模型，小抄依然能在它的隐藏状态里留下可被探测到的、有结构性的印记。这意味着这种"嘴上不说、心里有数"的现象，可能不是训练出来的副产品，而是语言模型这种架构本身就带有的某种属性。那这背后到底是什么机制在起作用，恐怕还有很长的路要走。

Q&A

Q1：PR-OPD是什么？

A：PR-OPD是一种训练AI智能体的新方法，全称是特权表征在线策略自蒸馏。它让AI自己给自己写事后反思小抄，然后让没带小抄的自己去模仿带小抄的自己的内部隐藏状态，而不是模仿输出的词汇概率，从而把小抄里的优势真正学到手。

Q2：为什么对齐输出概率的方法效果不好？

A：论文发现AI带着小抄表现更好，但小抄几乎不改变它输出每个词的概率，尤其是关键的动作决策词几乎没变化。只对齐输出概率等于只看到了冰山一角，真正的优势藏在AI的隐藏状态里，所以对齐隐藏状态效果明显更好。

Q3：PR-OPD在实验中效果如何？

A：在ALFWorld和WebShop两个任务环境、两种模型规模下，PR-OPD都取得了最好的综合成绩，比纯强化学习方法最高提升了11.7个百分点的任务准确率，且不需要额外的推理开销。