你的Transformer可能正在同时想两件事

2014年，卷积神经网络已经把图像识别的准确率刷到了让人瞠目结舌的地步。但如果你问一个AI研究者，Transformer的注意力机制在算什么，他多半会告诉你，这是一个极度非线性的系统，充满了softmax、激活函数、层层叠叠的矩阵变换。非线性意味着什么？意味着你把两个输入混在一起塞进去，输出大概率是一团乱麻,既不是A,也不是B,而是某种谁都认不出的第三种东西。

这几乎是所有人对深度神经网络的默认预期。

但2024年一篇论文却发现了一件让人愣住的事：把两段完全不相关的文本,逐词取平均,揉成一团再喂给Transformer,模型输出的下一个词预测,居然同时保留了两段文本各自该预测的词。不是丢失了一半信息变成噪音,而是像两个声音同时在唱歌,你还能听出两条旋律。

这篇论文的题目直接把这个发现点了出来:你的Transformer可以同时装下两个念头。

**混合之后,信号没有消失**

先说清楚这个实验是怎么做的。

研究者拿来两段不同的文本A和B,把它们的每一个词都转换成向量(这一步叫词嵌入)。

**词嵌入**:把文字转换成一串数字组成的向量,是神经网络理解文字的第一步,好比把每个词翻译成一种只有机器看得懂的坐标。

接着,他们把A和B在每个位置上的向量做逐元素平均,得到一个"混合向量"。这个混合向量不再是A,也不再是B,而是介于两者之间的某种"平均态"。把这个混合向量交给一个正常训练好的语言模型,让它照常做下一个词预测。

按照非线性系统的直觉,这时候模型应该输出一堆语义模糊、哪边都不沾的词。但实际结果是,如果单独喂A,模型预测的下一个词是"猫";单独喂B,预测的是"跑";把A和B混合之后喂进去,"猫"和"跑"这两个词依然会高概率地出现在预测结果的前几十名里。

论文用了一个很直观的图来展示这件事。横轴是"排名前i位",纵轴是"单独预测的词落在混合预测前i名里的概率"。结果显示,在没有任何微调的原始模型上,大约30%到40%的情况下,原本该出现的词能挤进混合预测的前10名;放宽到前100名,这个数字能冲到60%到65%。

考虑到这些模型的词表往往有五万甚至更多个词,前100名占比不到0.2%的词表空间,却能装下超过六成的正确答案。这不是运气,这是一种系统性的、结构性的现象。

打个比方。

想象你在一个嘈杂的鸡尾酒会上,同时有两桌人在聊完全不同的话题,一桌聊足球,一桌聊电影。如果你把两桌的声音直接叠加录成一段混音,常理来说你应该只听到一团噪声,分不清谁在说什么。但如果这段混音里,"点球"和"续集"这两个关键词依然能被一个训练有素的听众准确捕捉到,那说明这两组对话在声学结构上有某种没有被完全破坏的独立性,声波叠加没有让信息互相抹杀,而是保留了各自的"频率指纹"。如果不是这样,混音技术根本不可能存在,你也不可能在一首歌里同时听到人声和伴奏。Transformer处理混合输入时展现出的,正是类似的"分频道保真"能力。

为了确认这不是词频偏差在捣鬼(比如某些高频词本来就容易出现在任何预测的前列),研究者专门做了一个对照实验。他们用A的预测结果去对比一个完全无关的B的真实答案,发现只有1%左右的重合率。这说明前面观察到的30%到65%的恢复率,确实来自混合输入本身携带的语义信息,而不是词表里少数几个"万金油"词汇在滥竽充数。

**这不是学出来的能力,而是与生俱来的**

发现了这个现象之后,研究者面临一个更关键的问题:这种"能同时装两个念头"的能力,是Transformer架构天生自带的,还是模型在海量文本训练过程中慢慢学会的一种技巧?

为了搞清楚这一点,他们追踪了Pythia系列模型(从7000万参数到28亿参数不等)在整个预训练过程中的表现变化,从随机初始化的第一步,一路跟踪到训练完成的最后一步。

结果出乎意料:这种线性叠加能力,在模型刚初始化、还什么都没学会的时候最强,随着训练步数增加、模型越来越"聪明",这种能力反而在逐渐衰退。

论文用一个叫做"隐藏状态叠加误差"的指标来量化这件事。

**隐藏状态**:神经网络内部每一层处理数据后产生的中间结果,可以理解成模型思考过程中每一步留下的"草稿"。误差越小,说明"A的草稿加B的草稿"越接近"混合输入产生的草稿",也就是线性程度越高。

论文里的图2画得很清楚:所有规模的Pythia模型,在训练刚开始的几千步内,这个误差都很低,说明架构本身天然支持这种叠加。但随着训练步数从10的2次方一路涨到10的5次方,误差曲线整体向上爬升,尤其是较大的模型(14亿、28亿参数)爬升得更陡。

这个发现的含义相当微妙。通常我们认为,模型训练是在往它身上"添加能力",训练得越久,模型应该越强。但这里恰恰相反:语言建模这个训练目标本身,并没有奖励模型保留这种线性叠加的性质,于是随着模型越来越专注于把每一句话预测得又快又准,这种"顺便还能装下另一路信号"的副产品,反而被悄悄磨掉了。

这让人想起学骑自行车。

刚学会走路不久的小孩,身体还没有形成太多"固定姿势"的肌肉记忆,反而更容易适应各种奇怪的平衡状态,比如两只手同时抓着东西还能勉强站稳。但一个习惯了正常走路姿势多年的成年人,身体已经把"稳定行走"这套模式刻得极深,你让他同时做两件需要平衡感的事,反而更容易失衡摔倒。如果一个人从来没有形成任何固定的行走模式,他确实更"灵活",但也没法快好地走路。Transformer在预训练之前也是这样一张白纸,它对"如何准确预测下一个词"这件事还没有形成任何路径依赖,反而在处理混合信号时保持了更多的开放性,一旦训练把它塑造成了一个高度专精的预测机器,这种开放性就成了牺牲品。

论文还发现,这种线性程度的下降,和模型内部隐藏状态的几何结构变化高度相关。他们进一步分析了模型每一层内部,从这一层到下一层的映射是否接近一个简单的线性变换(用了此前另一篇论文提出的"线性度评分"方法)。结果显示整个模型呈现一个U字形分布:最开始的几层线性度很高,中间层急剧下降到大约0.65,但到了最后三分之一的深层,线性度又重新爬升到0.95以上。

这个"深层重新变线性"的现象,恰好解释了为什么混合信号最终还能在输出层被解码出来。就好比一段信号经过一路曲折复杂的处理管道,却在临近出口的地方突然被拉直、对齐,信息才没有在最后一步彻底散架。

**微调能把丢失的能力找回来**

如果预训练在悄悄侵蚀这种线性叠加能力,那有没有办法把它找回来?

研究者的答案是:可以,而且成本很低。

他们设计了一套自蒸馏(self-distillation)训练方案。

**自蒸馏**:用同一个模型的两个版本,一个当"老师"(参数冻结不变),一个当"学生"(参数持续更新),让学生去模仿老师的输出,而不需要引入外部标注数据。

具体做法是:老师模型分别对文本A和文本B做独立预测,把这两份预测结果取平均,作为"标准答案";学生模型则处理A和B混合后的输入,训练目标就是让学生在混合输入下的输出,尽量逼近这份标准答案。整个训练过程只用了不到原始预训练数据量的0.025%,却换来了实打实的效果提升。

以Pythia-2.8B为例,微调前,混合预测和理想混合分布之间的KL散度(一种衡量两个概率分布差异的指标,数值越小说明越接近)是1.86;微调后降到0.27,降幅超过85%。在排名恢复率上,前5名命中率从大约30%直接跳到超过60%。

更值得关注的是,这种恢复不是靠"作弊"实现的。论文特意区分了两类词:一类是"可预测词",比如标点符号、常见虚词(的、和、了这类),这些词本来就很容易被任何模型蒙对;另一类是"内容词",比如具体的名词、专有名词,这些才是真正考验模型有没有理解语义的地方。

基线模型在混合输入下,可预测词的排名中位数是6,表现还不错,但内容词的排名中位数飙到284,几乎完全崩溃。微调之后,可预测词几乎没变(排名中位数8),但内容词的排名中位数从284骤降到5,准确命中率从4.2%跳到22.8%。

这说明微调恢复的不是表面上的"蒙对高频词"的小聪明,而是真正让模型重新学会了在混合信号里并行处理两份复杂语义内容。

打个比方。

这就像一个曾经能同时兼顾工作和家庭生活的人,随着工作压力越来越大,渐渐把所有精力都压缩到了工作上,回家之后脑子里只剩工作的事,家人说什么都听不进去,这时候如果你测他"能不能记住昨天孩子说的一句话",他大概率答不上来。但如果这个人经过一段时间刻意的自我调整,重新练习在下班路上主动切换频道,他确实能在很短的适应期内,重新找回同时关注两件事的能力,而且这次找回来的不是敷衍地点头,是真的能复述出孩子昨天说的具体内容。如果不做这种刻意调整,这项能力只会随着工作强度增加而持续衰退,不会自己恢复。

论文对这个恢复过程还做了一个更精细的验证,叫做注意力打补丁分析(attention-patching)。

**注意力机制**:Transformer里负责让模型"聚焦"到输入中重要部分的核心组件,通过给不同位置分配不同权重来决定该重点关注哪些词。

研究者设计了两种对照实验来拆解这件事。第一种叫"供体注意力打补丁",就是把一段文本A自己的注意力权重,替换成一段完全无关文本C产生的注意力权重,但A自己的内容信息(Q/K/V投影)保持不变,只换"注意力形状"。第二种叫"排列打补丁",在A自己的注意力权重内部,对每一行做随机打乱,保留权重总和不变,但破坏其中的结构顺序。

结果显示,"供体打补丁"这种操作,在自我一致性指标上看起来相当温和,替换掉全部层的注意力权重后,排名中位数只有8。但一旦放到真实的语言理解任务LAMBADA(一个考验模型是否真正理解长篇上下文的经典测试集)上检验,供体打补丁直接把准确率从原本的73%打到0.5%。

这个巨大的落差揭示了一个关键区别:LAMBADA测试的恰恰是内容词、是需要真正理解语境才能猜对的位置,而不是那些靠词频先验就能蒙对的可预测位置。排列打补丁则进一步证实,单靠词频先验(即不破坏词表输出层)是远远不够的,一旦把注意力的结构形状也打乱,各项指标全面崩溃,排名中位数从8暴涨到8148。

这说明,让混合信号能存活下来的,是词频先验和注意力自然结构这两个因素的共同作用,缺一不可。而经过嵌入混合训练的模型,携带的信息量比单纯的"供体打补丁"更丰富,在LAMBADA上,嵌入混合能拿到2.25%的准确率,是供体打补丁0.5%的4.5倍。

**想同时听两个故事,没那么容易**

微调能让混合分布的数值指标变得漂亮,但这不代表你真能从这个混合状态里,干净利落地解码出两段独立、通顺的文本。

论文诚实地指出了这里的一个数学障碍,他们称之为"几何平均阻塞"。

当两路信号的logits(模型输出层未经softmax归一化前的原始分数)被近似平均之后,最终的概率并不是简单的算术平均,而是趋向于两个独立概率的几何平均,也就是根号下(PA乘以PB)。

这意味着什么?

如果某个词在A流里概率很高,但在B流里概率极低,那么这个词的混合概率会被这个"极低"值狠狠拖累下去,哪怕A本身对这个词非常自信。换句话说,只有两路信号都认可的词,才容易在混合分布里排到第一名,任何一边的分歧都会被放大成惩罚。

这就像两个人合唱一首歌,如果两人对某个音的音高看法完全一致,合唱出来的声音会很响亮清晰;但只要有一个人稍微跑调,哪怕另一个人唱得再准,整体听感也会被那个不和谐音拖累,而不是简单地"取个平均就还行"。如果放任这种几何平均效应不管,直接从混合分布里采样生成文本,结果只会是模型在A和B的词之间来回跳跃,生成一段语义支离破碎的文字,这也是论文里明确提到的失败现象。

为了解决这个问题,论文提出了一种叫做"联合对比解码"(Joint Contrastive decoding)的方法,作为一个概念验证。

具体做法是引入一个体量小得多的辅助模型,分别对A和B做独立预测,再用这两份独立预测去修正大模型混合输出的logits,公式上是把大模型的混合logits,加上小模型对目标流的预测,再减去小模型对另一流的预测,通过这种"加一减一"的操作,人为地把两路信号重新拉开。

在Qwen2.5-3B配合0.5B小模型的组合上,这个方法把LAMBADA混合准确率从原始的16.8%拉到34.5%;在Llama-3.2-3B上,从18.2%提升到43%,已经相当接近单独跑小模型本身的54%基线水平。

不过论文也坦率承认,这个方法并没有完全消除这个几何平均带来的天花板,只是缓解了它。真正彻底解开这个数学约束,论文留给了后续研究去解决。

**从两条推理流到一次前向传播**

如果这套机制真的能被打磨成熟,它意味着什么?

意味着一次原本需要跑两遍的推理,可以压缩成一次前向传播搞定,理论上能带来两倍的推理吞吐量提升。论文里做的吞吐量测试显示,用融合嵌入配合双输出头的方案,速度和跑batch size为2的独立推理几乎持平(差距在3%以内),但比起把两个请求老老实实排队串行处理,快了将近一倍。同时因为两路信息被压缩进同一个向量表示里,KV缓存(模型在生成过程中为了避免重复计算而保存的中间结果)的显存占用也能大幅下降。

这套技术如果真能落地,对于需要同时处理海量并发请求的推理服务(比如聊天机器人、检索增强生成系统)会是相当实在的成本节约。

论文的作者们也在相关工作部分做了一个区分,值得单独说一下。此前已经有一些工作专门研究"如何让神经网络处理多路复用的输入",比如DataMUX、MIMONets、RevMUX这些方法,但它们的共同点是,这种多路处理能力是靠额外设计的层、专门的绑定解绑机制、或者正则化约束人为塞进模型里的,是一种被工程化出来的能力。

而这篇论文的发现完全不同:这种线性叠加能力,在标准的、没有经过任何特殊设计的预训练Transformer里就已经天然存在,只是被预训练过程悄悄削弱了。研究者做的不是从零发明一种新能力,而是找到一种方法,把模型本来就有、但被训练磨掉的能力找回来。

这个区别听起来细微,但其实决定了整个研究的性质。如果超导现象需要极其苛刻的低温条件才能出现,那和"某些材料在室温下天然带有微弱超导倾向,只是杂质掩盖了它"是完全不同的两回事,后者意味着这种性质本来就写在材料的基本物理结构里,只是需要找到正确的方法把它释放出来。

Q&A

Q1:Superposition Linearity Hypothesis(线性叠加假设)具体指的是什么?

A:指当两段文本的词嵌入被逐元素平均混合后,Transformer模型处理这个混合输入时,输出的下一个词预测分布会近似等于两段文本各自独立预测分布的算术平均,即模型把混合输入当作两条独立信息路径的叠加来处理,而不是让两路信息互相抹杀成噪声。

Q2:为什么模型经过预训练之后,这种同时处理两路信号的能力反而变弱了?

A:论文发现这种线性叠加能力在模型随机初始化时最强,随着预训练步数增加逐渐减弱,原因是语言建模这个训练目标本身并不奖励模型保留这种性质,模型在专注学习准确预测下一个词的过程中,内部隐藏状态的几何结构逐渐变得更非线性,这种副产品式的线性叠加能力就被悄悄侵蚀了。

Q3:微调能不能完全解决混合信号无法分离成两段独立通顺文本的问题?

A:不能完全解决。论文指出存在一个"几何平均阻塞",混合后的概率分布趋向于两路独立概率的几何平均,导致只有两边都认可的词才容易排到最前面。论文提出联合对比解码方法缓解了这个问题,把LAMBADA混合准确率从16%左右提升到34%到43%,但仍未完全消除这个数学层面的限制。