微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 大模型的"不思考模式"真的学会了新本事吗?一项研究揭开了强化学习的障眼法

大模型的"不思考模式"真的学会了新本事吗?一项研究揭开了强化学习的障眼法

2026-11-18 13:03
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-18 13:03 • 科技行者

先问你一个问题。

如果一个学生平时做题时会打草稿、反复检查、自言自语地说"等等,这里好像不对",而你把他的草稿纸没收了,只让他直接写答案,他的成绩会变好还是变差?

正常直觉是会变差。但如果你训练他一段时间之后,发现他不用草稿纸也能考高分了,你会不会好奇:他是真的练出了"心算"的本事,还是他其实偷偷在脑子里打了草稿,只是不写出来而已?

这正是这篇论文要调查的事情。主角是现在很流行的一类大语言模型,比如阿里的Qwen3系列,它们有两种工作模式。

**混合推理模型**:同一个模型可以在"思考模式"和"非思考模式"之间切换,切换方式只是提示词里几个固定的标记符号。

思考模式下,模型会先在`<think>`和`</think>`这两个标签之间写一大段推理过程,相当于打草稿,然后才给出答案。非思考模式下,系统直接在提示词末尾塞一个空的草稿框`<think>\n\n</think>\n\n`,模型看到这个空框子,就知道自己不用打草稿了,直接写答案。

现在业界有一套很常见的操作流程:用强化学习只在非思考模式下训练模型,然后发现非思考模式下的准确率涨了不少,于是宣布"我们提升了模型的不打草稿推理能力"。

这篇论文想问的是:这个提升,到底是模型真的学会了新的解题方法,还是它只是偷偷把思考模式里原本就有的本事,渗透到了非思考模式里?

论文给这个现象起了个名字,叫思维泄漏。

**思维泄漏**:指强化学习在非思考模式下训练时,模型的性能提升并非来自学会了新的推理能力,而是重新激活了原本就藏在思考模式里的推理行为。

这个问题不是随便问问的。如果答案是"大部分提升都是泄漏来的",那意味着整个行业对强化学习效果的理解可能存在系统性的误判,很多"强化学习教会了模型新本领"的结论都需要打个问号。

实验是怎么做的:三个模型,一条训练线

研究团队选了Qwen3系列里三个不同大小的模型,17亿参数、40亿参数、80亿参数,用一种叫GRPO的强化学习算法,在非思考模式下训练它们做数学题。

**GRPO**:一种强化学习算法,全称是组相对策略优化,训练时会同时生成多个答案,比较它们的好坏,按照相对排名给每个答案打分来指导模型学习。

训练数据是一个叫DAPO-Math-17k的数学题库,训练过程中不让模型看思考模式的任何东西,彻头彻尾只在非思考模式下调教。训练完之后,用AIME数学竞赛题(一套总共90道题的高难度赛题)来检验效果。

结果非常清楚:三个模型的准确率都涨了。80亿参数的模型从17%涨到43%,这是个相当可观的进步。

但紧接着,研究者们发现了几件很奇怪的事情。

第一个线索:答案变长了,还开始"自言自语"

训练过程中,模型给出的答案越来越长。80亿参数模型的平均回答长度从2700个词元涨到7200个词元,涨了快三倍。

更微妙的是,答案里开始频繁出现一些词,比如"等等"、"嗯"、"或者"、"实际上",这类带有反思、自我修正意味的词。研究者把这些词统称为反思词,专门做了个计数器去数。

**反思词**:指文本中表示模型在检查、质疑或修正自己推理的词汇或短语,比如"等等""或者""让我再检查一下"。

数出来的结果是,80亿参数模型每个回答里的反思词数量从训练开始的1.3个,涨到结束时的13个,整整十倍。这组数字不是随便挑的,论文还专门对比了一下:同一个模型在思考模式下本来的回答,平均每个就含有120到130个反思词。

这就很耐人寻味了。一个号称"不打草稿"的模型,结果越训练,答案里越出现"打草稿时才会说的话"。

打个比方。你本来让一个人闭着眼睛直接报答案,结果训练久了,他虽然嘴上说自己没打草稿,但说话的语气越来越像一边算一边嘀咕的样子,"嗯……等一下……应该是这样……"。如果他真的学会了闭眼心算,这种自言自语本该消失才对,它越来越多,说明他可能根本就是在脑子里偷偷打草稿,只是你看不到那张纸而已。

第二个线索:让原模型自己当裁判

光看文字风格还不够说服力,研究者想了个更直接的办法:让训练前的原始模型自己来判断,这些答案到底像不像它自己"打草稿模式"下写出来的东西。

具体做法是,拿同一个问题,分别用思考模式的提示词和非思考模式的提示词喂给原始模型,看它给同一段生成文本打出的"每个字出现的可能性"谁更高。如果某段文本在思考模式提示词下显得更自然,那就说明这段文本更像思考模式写出来的。

研究者把这个指标叫做思考胜率。

**思考胜率**:用原始模型作为裁判,衡量一段生成文本更像是思考模式还是非思考模式产物的指标,数值越接近100%说明越像思考模式的风格。

原始模型自己在非思考模式下写的答案,思考胜率天然是50%(因为参照系本身就是自己)。而原始模型思考模式下的草稿文字,思考胜率是100%。

训练之后的80亿参数模型呢?它在非思考模式下生成的答案,思考胜率涨到了94%。换句话说,原始模型会把训练后模型的答案误判成"这更像是我自己打草稿时写的东西",而且94%的情况下都这么判断。

这就相当于你拿一个学生交上来的"闭卷考试答案",去问他本人:这看起来像不像你平时用草稿纸解题的字迹和语气?他自己说,94%像。

第三个线索:模型内部的"大脑活动"也在偏移

前两条证据都是看模型"说出来的话",研究者还想往更深一层看,模型内部的神经激活模式有没有变化。

这里要引入一个技术概念,残差流。

**残差流**:神经网络中每一层处理完信息后,传递给下一层的那条信息通道,可以理解为模型"思考过程"在网络内部流动的载体。

研究者的做法是,先定义一个思考方向:用原始模型处理同一段文字,分别套上思考模式和非思考模式的提示词,看它内部某一层的激活向量差了多少,这个差值方向就代表"从非思考模式走向思考模式"要往哪个方向移动。

然后他们测量,经过强化学习训练之后的模型,它的内部激活相比原始模型的非思考模式,往这个思考方向移动了多远,这个量叫做思考激活偏移,用希腊字母α表示。

α等于0,说明一点没往思考方向偏;α等于1,说明偏移量已经等同于原始模型思考模式和非思考模式之间的全部差距。

80亿参数模型训练到最后,这个α达到了0.56。也就是说,它内部的激活状态,已经悄悄往"思考模式"的方向挪了超过一半的距离,虽然外部提示词从头到尾都写着"不要思考"。

这就好比一个人嘴上说"我没在想别的事",但脑电波监测仪显示他大脑活跃的区域,已经有一半以上和"认真思考时"的区域重合了。他可能自己都没意识到,或者说,他确实没在刻意想,但大脑的某种机制已经悄悄切换了状态。

光有相关性不够,得找因果证据

说到这里,你可能会觉得证据已经很充分了。但研究团队很谨慎,他们指出:上面这些现象只是相关性,答案变长、像思考模式、激活偏移,这些都只是"伴随发生"的事实,并不能直接证明"准确率的提升就是因为泄漏"。

万一强化学习真的学会了某种新本事,这种新本事恰好表现得又长又啰嗦呢?

于是他们设计了三组更硬核的实验,分别从权重、激活、注意力头三个层面去寻找因果证据。

实验一:把强化学习学到的改动放大,会发生什么

强化学习训练完之后,模型的权重从原来的W0变成了W0加上一个变化量ΔW。这个ΔW就是训练过程教会模型的全部东西。

研究者的想法很直接:如果这个变化量本来就是在往思考模式的方向推,那把它乘以一个大于1的系数c,强化这个方向,应该会让思考模式的特征更明显。这种操作在模型编辑领域有个专门的名字。

**权重算术**:通过对模型权重差值进行加减或缩放来调整模型行为的技术,常用于合并或强化某种能力。

他们拿80亿参数模型在训练到第15步和第67步的权重变化量,分别乘上不同的放大系数,在完全不进行额外训练的情况下直接测试效果。

结果出现了一个相当诡异的现象:随着放大系数变大,模型开始在回答里主动写出`</think>`这个标签。

要知道,非思考模式的提示词模板,本来就已经把`</think>`写死在提示词里了,模型根本不需要、也不应该自己再写一遍这个闭合标签。原始模型在1260次非思考模式回答里,一次都没写过这个标签。可是把强化学习的权重变化放大到3倍之后,这个标签在51%的回答里出现了。

更诡异的是,这个标签出现的位置,平均在整个回答的91%处,和原始模型在真正的思考模式下写`</think>`的位置(92%处)几乎完全重合。

这就好比你让一个人闭眼走路,走着走着他突然伸手做了一个"推开教室门"的动作,而且推门的时机,正好和他平时睁眼走到教室门口要推门的那一刻完全吻合。这不是巧合能解释的,这说明他脑子里其实"看到"了那扇门,只是嘴上说自己闭着眼。

随着放大系数增加,准确率也跟着涨,最高涨到72%,但无论怎么放大,都没有超过原始模型在真正思考模式下74%的准确率。这个"天花板"卡得很准,说明强化学习学到的方向,终点就是原始模型思考模式所在的地方,走不过去,也走不到更远的地方。

实验二:把"思考子空间"的激活值互换,会发生什么

第二个实验更精细,直接动手术式地在激活层面做文章。

研究者先定义了一个叫思考子空间的东西,一个只有8维的小空间(相对于模型几千维的总激活空间来说非常小),这个子空间专门用来捕捉思考模式和非思考模式之间最核心的差异方向。

**激活子空间**:在模型某一层的高维激活向量中,挑选出一小部分维度组成的低维空间,用来专门承载某种特定的行为差异信号。

构造方法是这样的:拿训练用的128道题,让原始模型生成非思考模式的回答,然后把这同一段文字分别套上思考模式提示词和非思考模式提示词再跑一遍,记录两次激活的差异,取这些差异里信息量最大的8个方向,就是思考子空间。

接下来是关键操作,跨模型激活替换。研究者让训练后的80亿参数模型生成回答,但在生成过程中的每一层,把它在这8维思考子空间里的激活值,强行替换成原始模型在同样位置、同样输入下的激活值。其他维度的激活完全不动。

这相当于给训练后的模型做了一次"局部记忆清除手术",只清掉和思考相关的那一小块,其他能力原封不动保留。

结果是,替换之后,准确率从训练后模型原本的41%掉到24%,相当于拿走了强化学习带来全部提升的75%。同时回答长度从7000词元掉到4200词元,反思词从13个掉到3.9个。

反过来做实验也很说明问题:把原始模型生成回答时,这8维子空间的激活值换成训练后模型的版本,结果原始模型的准确率从19%涨到30%,凭空多了强化学习总提升量的一半。

研究者还做了对照组,用同样8维但是随机挑选方向的子空间,或者用主成分分析挑出来的"信息量最大但不特意针对思考差异"的子空间去做同样的替换实验,效果都远不如这个精心构造的思考子空间,随机子空间的效果几乎是零,甚至出现了负值。

这组对比非常干净地说明了一件事:不是"随便改一些激活"都能改变准确率,是这个专门捕捉"思考与非思考差异"的8个维度,恰好就是那把能撬动准确率的钥匙。

如果把模型的几千维激活空间想象成一整间仓库,这8个维度就是仓库角落里一个很小的保险柜。保险柜里锁的不是别的,正是模型用来区分"我现在该不该打草稿"的那套判断机制。强化学习训练,表面上没碰这个保险柜(训练过程完全没让模型进入思考模式),但结果却是保险柜里的东西被悄悄换了内容。

实验三:哪些"神经元团伙"在负责开关草稿模式

第三组实验把目光投向了更具体的网络结构,注意力头。

**注意力头**:Transformer模型内部的一种计算单元,负责在处理当前词元时,决定该把"注意力"分配给输入序列里的哪些其他词元,一个模型通常由上千个这样的头组成。

研究者的逻辑是:非思考模式和思考模式提示词唯一的区别,就是那个空的草稿框`<think>\n\n</think>\n\n`。这几个标记要想影响模型后续的生成,必须通过注意力机制被"看到"才行。所以他们先去找,哪些注意力头特别爱盯着这个空草稿框看。

结果发现,这种关注高度集中。90%左右的注意力头,分配给这个空框子的注意力权重不到1%,基本没在看。但只有五到七个头,会把超过10%的注意力都投给这几个标记。

接下来用了一种叫注意力阻断的干预手段。

**注意力阻断**:人为切断模型中某些注意力头与特定输入词元之间的连接,用来测试这些连接是否对某个行为是必要的。

把这几个"重度关注"的头强制屏蔽掉,让它们看不到空草稿框,结果原始模型的内部激活立刻大幅度偏向思考方向,思考激活偏移从0涨到0.78(80亿参数模型),几乎逼近把整个草稿框从提示词里直接删掉的效果(0.78比1.03)。而如果随机挑同样数量的头做屏蔽,效果几乎为零。

这说明,确实存在一小撮"看门人"注意力头,它们的工作就是时刻盯着那个空草稿框,用这个信号提醒模型:现在是非思考模式,别打草稿。

然后是最关键的一步:这些看门人头,是不是正好就是被强化学习动了手脚的那批头?

研究者做了跨模型的单头替换实验,把原始模型某一个注意力头的输出,换成训练后模型同一个头在同样输入下的输出,看这一个头的替换能带来多大比例的思考激活偏移。结果显示,单单一个头,比如80亿参数模型里编号为第18层第19个头的那一个,替换之后就能带来44%的全部偏移效果。而这个头,恰好就是前面分析里那批"重度盯防空草稿框"的头之一,排名在所有上千个头里前0.2%。

三个不同大小的模型,排名前三的"高影响力头"全部落在"重度盯防"的那5%头里。如果是随机挑三个头,期望只有0.1个会落在这个集合里。

这组证据相当于把嫌疑人锁定到了具体的几个人身上。本来负责"门卫"工作的那几个注意力头,它们的职责是盯着那扇虚掩的门确认没人进来,结果强化学习训练完之后,恰恰是这几个门卫自己的行为被改写了,门卫自己松懈了,门就这么被悄悄推开了。

追根溯源:训练信号本身就在"鼓励"像思考的答案

前面三组实验已经把"思维泄漏"这件事从现象坐实到了因果层面。但还有一个问题没解决:训练用的奖励函数,明明只看最终答案对不对,跟像不像思考模式没有任何直接关系,那这个偏移到底是从哪冒出来的?

研究者回到了GRPO算法本身的计算逻辑。

GRPO训练时,同一个问题会生成多个(论文里是5个)回答,组成一组。每个回答根据答案对错得到+1或-1的奖励,然后这组内每个回答的优势值,就是它的奖励减去这组平均奖励,再除以组内标准差。

**优势值**:强化学习中衡量某个具体行为相对于同组其他行为好坏程度的指标,优势值越大,该行为在梯度更新中被强化的力度就越大。

这里有个细节很有意思:同一组5个回答里,如果只有1个答对了,那个答对的回答会得到一个特别大的优势值(+1.79);但如果5个里有4个都答对了,那个答对的回答优势值反而很小(+0.45)。直觉上这好理解,越难的题答对了越值得奖励。

研究者把每个回答的思考胜率和它拿到的优势值做对照,发现一个清晰的规律:在同一组回答对同一道题的情况下,答对的回答里,思考胜率更高的那些,恰好就是优势值更大、被强化力度更强的那些。反过来,答错的回答里,思考胜率更高的那些,受到的惩罚反而更轻。

换句话说,训练信号本身就带着一种隐藏的偏好:越像"打草稿风格"的答案,无论对错,在梯度更新里受到的待遇都更有利。

研究者还做了一个很巧妙的验证实验。他们初始化一个全新的、还没训练过的适配器,拿刚才那批采样回答和对应的优势值,真的去计算一次梯度,然后让模型往这个梯度方向走一步,看模型的思考激活偏移α会不会变化。

结果是,用完整的GRPO信号走一步,α涨了0.0075。如果把优势值在组内打乱重新分配(也就是说,保留奖励总量不变,但把"谁该被奖励谁该被惩罚"的对应关系打乱),α反而下降了0.0022。如果干脆让每个回答都平等地受到同等强化(不区分优势值高低),α几乎不变,只涨了0.0006。

这个对照实验把因果链条扎得很牢:不是"训练"本身导致了偏移,而是训练信号里"谁被奖励、谁被惩罚"这个具体的分配方式,导致了偏移。GRPO算法在给不同回答计算优势值时,无意中给那些更像思考模式的回答开了后门。

这就好比一家公司的KPI考核制度,表面上写的是"只看业绩数字",但实际执行下来,发现那些用某种特定汇报话术的员工,哪怕业绩一样,也总能拿到更高的绩效分。这不是规则明文规定的,但规则在执行层面的计算方式,恰好给这种话术开了个隐藏的加分项。久而久之,所有人说话都开始往这个话术风格上靠。

写在后面

读完这篇论文,最触动我的其实不是任何一个具体的实验数字,而是这种研究方法本身的态度。它没有满足于"准确率涨了"这个表面结论,而是一路追问下去:涨在哪里、是不是泄漏、泄漏的机制是什么、泄漏的源头又是什么。四层递进,每一层都拿出了独立的证据,而不是用一个现象去佐证另一个猜测。

有个细节我觉得特别值得单独拎出来说。论文里提到,放大强化学习的权重更新之后,模型会主动写出`</think>`这个标签,一个在非思考模式下根本没有存在理由的标签。这比任何统计数字都更有说服力,因为它是一种"行为上的自白"。模型不需要写这个标签就能完成任务,但它还是写了,而且写的位置和思考模式下一模一样。这种"多此一举"恰恰暴露了它内部真实在发生什么。

另一个让我反复琢磨的地方是,论文反复强调一件事:强化学习训练后的模型,无论怎么放大权重更新,准确率都没有超过原始模型思考模式本身的水平。这意味着,所谓的"提升",上限早就被原始模型自己锁死了。强化学习在这里更像是一把钥匙,而不是一台发电机,它打开了一扇本来就存在的门,而不是盖了一栋新房子。

这也引出一个还没被回答的问题。如果思维泄漏广泛存在于这类混合推理模型的强化学习训练中,那在报告"非思考模式性能提升"的时候,研究者是不是都应该先做一次类似的激活子空间检验,确认这个提升到底是新能力还是旧能力的渗透?这篇论文给出的工具,思考子空间替换、注意力头定位、GRPO信号分析,会不会成为以后审视类似结果的标准动作?这件事目前还没有答案,但看完这篇论文,我觉得这个问题已经没法被轻易绕过去了。

Q&A

Q1:什么是思维泄漏?

A:思维泄漏是指在非思考模式下用强化学习训练混合推理模型时,模型准确率的提升主要不是来自学到了新的解题能力,而是重新激活了原本就存在于思考模式里的推理行为,相当于模型偷偷用上了"打草稿"的本事,只是没有显式写出来。

Q2:研究者是怎么证明思维泄漏存在的,而不只是巧合?

A:研究团队做了三组因果实验:放大强化学习学到的权重变化观察模型是否趋近思考模式;替换模型里一个专门捕捉思考与非思考差异的8维激活子空间,发现能移除或转移大部分性能提升;定位到几个专门监控空草稿框的注意力头,发现强化学习改动恰好通过这些头起作用。三重证据互相印证,说明这不是巧合。

Q3:这个发现对以后评估大模型强化学习效果有什么影响?

A:它提醒我们,看到非思考模式准确率上涨,不能直接认为模型学会了新本领,还要排查这个提升是不是来自模型内部对已有思考能力的重新调用。论文提出的激活子空间检验、注意力头定位等方法,为以后区分"真新能力"和"旧能力渗透"提供了可操作的工具。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-