康奈尔大学和哈佛大学联手发现：AI大模型一直在"身兼二职"，强制让它"分工合作"后效率飙升2.6倍

这项由康奈尔大学与哈佛大学联合开展的研究以预印本形式发布于2026年7月1日，论文编号为arXiv:2607.01218，有兴趣深入了解的读者可通过该编号查询完整论文。

每当你和ChatGPT、Claude这类AI聊天时，背后运转的"大脑"——Transformer架构，实际上一直处于一种极度疲惫的工作状态。它就像一个同时被要求既当"记忆官"又当"发言人"的员工，两份工作挤在同一个人身上，难免互相掣肘。康奈尔大学和哈佛大学的研究团队发现了这个深埋已久的效率瓶颈，并提出了一个看似简单却效果惊人的解决方案：给AI的"大脑"安排专职分工。这项被命名为"状态-预测分离假说"（State-Prediction Separation，简称SPS）的研究表明，当AI的记忆功能和预测功能被拆分到两条独立的工作流水线时，模型学习效率可以大幅提升，用不到原来一半的训练数据就能达到相同水平。

一、 AI大脑里那个"身兼二职"的秘密

要理解这项研究解决了什么问题，得先从AI语言模型的工作原理说起。以GPT这类大语言模型为例，它们的核心任务是"预测下一个词"——给定"今天天气真"这几个字，预测出"好"。这个过程听起来简单，但背后涉及到一个精妙而繁重的双重机制。

当模型读到每一个词的时候，它会在内部生成一组"隐藏状态"——可以把它理解为模型对当前这个词的理解和记忆。这组隐藏状态同时承担着两件截然不同的事情。第一件事是"立即发言"：利用当前的隐藏状态预测下一个词应该是什么。第二件事是"备忘存档"：把当前的隐藏状态保存进一个叫做KV缓存（Key-Value Cache）的"记事本"里，供后续所有词汇在预测时参考。

问题就出在这里。"立即发言"要求隐藏状态尽可能多地包含预测下一个词所需的信息，而"备忘存档"则要求隐藏状态尽可能多地捕捉当前词在整个句子语境中的位置和意义，以便未来的词汇能从中获益。这两个目标并不完全一致，甚至常常相互竞争。好比一个演员既要在台上表演当场的戏份，又要在台下把所有剧情背景都烂熟于心随时供导演问询，两份压力都压在同一个人身上，哪一边都很难做到极致。

研究团队把这个现象用数学梯度的语言描述得非常清晰。在神经网络的训练过程中，模型通过"反向传播"来调整自己的参数——简单说就是通过失败来学习。每一个位置的隐藏状态都会接收到两类不同的学习信号：一类来自"这一步的预测是否准确"（称为预测梯度），另一类来自"我留下的记忆有没有帮助后续步骤预测得更准"（称为状态梯度）。这两类梯度流经同一组参数，互相搅和，导致模型在两个任务上都无法发挥出最优水平。

二、 拆开"两顶帽子"：SPS架构的巧妙设计

研究团队提出的解决方案在概念上出人意料地直接：既然一个位置扛不住两份工作，那就给它配一个助手。

具体做法是在每个输入词之后插入一个特殊的"预测令牌"，用符号`<predict>`标记。原来的序列"x1, x2, x3, x4..."被改造成"x1, ρ1, x2, ρ2, x3, ρ3..."的交替形式，每个原始词xi后面都跟着一个专属的预测令牌ρi。两者共享同一个位置编码，相当于站在同一个时间节点上，但各司其职。

原始词xi的隐藏状态专门负责"备忘存档"，它的记忆会被永久保留在KV缓存里，供整个序列中所有后续位置参考。紧随其后的预测令牌ρi则专门负责"立即发言"——模型基于ρi的隐藏状态来预测下一个词是什么，训练损失也只在ρi这个位置计算。关键的一步是：ρi的隐藏状态在短暂的窗口期（默认设为64个词）之后会被从KV缓存中清除，不会长期占据记忆空间。

这个设计的精妙之处在于它如何疏导了梯度流向。xi的隐藏状态现在主要接收来自未来步骤的"状态梯度"，它的使命是成为一个高质量的"长期记忆单元"。而ρi的隐藏状态则主要接收来自"当前预测是否准确"的即时梯度，它的使命是成为一个精准的"即时预测器"。两类学习信号各归其位，不再互相干扰。

研究团队还设计了一套精确的注意力掩码规则来实现这种分离。简单来说，任何位置（无论是xi还是ρi）都可以看到所有历史输入词xi的记忆，同时也可以看到最近64个预测令牌ρi的临时记忆。唯一的区别是，当查询方是ρi时，它还可以额外看到自己对应的那个xi——这让预测令牌在生成预测时能直接参考刚刚读入的最新词汇信息。

三、 公平比较：排除"作弊"的可能性

科学研究最怕的就是"改了好几个变量，却说只有一个变量起了作用"。研究团队在设计对比实验时格外谨慎，专门设置了两个"控制组"来排除干扰因素。

第一个控制组叫做"2倍记忆"（2X MEMORY）。这个变体同样插入了预测令牌，但不清除它们的记忆——所有xi和ρi的隐藏状态都被永久保留在KV缓存里。这样一来，模型获得了双倍的计算容量和记忆空间，但预测令牌依然同时承担预测和状态保存两个职责，两个功能并没有被真正分离。这个变体的存在是为了回答一个问题：SPS的提升是不是单纯因为"记忆变多了"导致的？

第二个控制组叫做"延迟状态"（DELAYED STATE）。这个变体同样插入预测令牌，但把"永久保存的记忆"安排在ρi这个位置，而不是xi——恰好与SPS相反。也就是说，模型的持久记忆来自预测令牌，而输入词的记忆只在短暂窗口内可见。这个变体拥有与SPS相同的计算量和持久记忆大小，但预测和状态的职责分配方式与SPS不同，ρi依然要同时扛起预测和存档两个任务。这个变体是为了回答另一个问题：SPS的提升是不是单纯因为"在预测之前多做了一步计算"导致的？

研究团队还尝试了一个"反向SPS"（REVERSE SPS）变体，把SPS的角色完全颠倒：让预测令牌负责存档，让输入词负责即时预测。这个"镜像版本"的存在是为了验证角色分配的方向是否重要。

四、 从53M到16亿参数的全面检验

研究团队在五个不同规模的模型上进行了实验，参数量从5300万到16.78亿，覆盖了AI研究领域常见的实验规模。模型架构沿用现代大语言模型的标准配置，包括RMSNorm归一化、SwiGLU激活函数、旋转位置编码等组件，确保对比实验的公平性。

所有模型在FineWeb-Edu数据集上进行预训练，这是一个高质量的教育类网络文本数据集，使用GPT-2的分词器处理。每个模型默认训练200亿个词语（token），超过了"Chinchilla计算最优比例"（每个参数需要约20个训练词语）所要求的量。为了获得公平的GPU时间对比，研究团队额外将标准Transformer训练到400亿词语，直到其损失值追上SPS为止。

模型评估分为三个维度：其一是验证损失，即在训练数据同分布的验证集上的交叉熵损失（可以理解为预测下一个词时平均"猜错了多少"）；其二是泛化能力，包括在WikiText、C4、Pile-Books3、GovReport四个完全不同领域的数据集上测量损失，以及在ARC-Easy（科学推理）、HellaSwag（常识推理）、PIQA（物理常识）、SciQ（科学问答）、LAMBADA（长篇理解）五个标准零样本基准任务上的准确率；其三是推理效率，包括端到端生成速度和显存占用。

五、 实验结果：分工之后，效果有多惊人

核心结果可以用一句话概括：在所有规模、所有评估维度上，SPS都以明显优势领先于标准Transformer和两个控制组。

先看训练损失。在最小的5300万参数模型上，SPS的最终验证损失比标准Transformer低0.042。这个差距随着模型规模增大而持续扩大，到16.78亿参数的最大模型时，差距扩大到0.068。更直观的表现是在训练曲线上：无论是按照处理词语数量比较，还是按照消耗GPU时间比较，SPS的损失曲线始终低于标准Transformer。即便标准Transformer被允许训练到SPS两倍的词语量，它也无法追上SPS的表现——在16亿参数规模下，SPS只用了180亿词语的预训练就达到了标准Transformer用470亿词语才能达到的验证损失，数据效率提升了2.6倍。

泛化能力的提升更加令人印象深刻。在四个域外数据集上的平均损失，SPS比标准Transformer低0.09到0.11，且这个提升在所有规模上非常稳定。在五个零样本基准任务上的平均准确率，SPS比标准Transformer高出2.3到3.1个百分点，且差距随规模增大而拉大——最大模型上SPS达到66.3%的平均准确率，而标准Transformer只有63.2%。

与此同时，两个控制组的表现揭示了关键信息。"2倍记忆"比标准Transformer有所提升，但始终不如SPS，尽管它拥有双倍的持久记忆空间。这说明SPS的提升不是单纯来自"更多记忆"。"延迟状态"同样比标准Transformer好，但也始终不如SPS，差距在验证损失上约为0.019到0.021，在域外损失上约为0.06到0.07。这说明SPS的提升不是单纯来自"多做了一步计算"，而是真正来自功能分离本身。"反向SPS"在窗口较大时表现接近SPS，但当窗口缩小时性能急剧下降，因为窗口化输入词会切断模型对近期词汇的可见性，这表明"把输入词作为持久记忆"是更稳健的默认选择。

推理效率方面，SPS几乎没有额外代价。持久KV缓存大小与标准Transformer完全相同（峰值显存比例约为1.01倍），端到端生成速度在各规模下仅比标准Transformer慢6%到10%。这是因为在推理时，每生成一个词只需要前向传播一对(xi, ρi)，延迟与标准Transformer基本相当——这正是推动"投机解码"等技术的同一个原理。相比之下，"2倍记忆"的显存占用高出约75%到81%，随模型规模增大还会进一步恶化。

六、 深入解剖：梯度去哪儿了，记忆有多重要

光看性能数字还不够，研究团队还做了两组深入分析来验证SPS发挥作用的机制。

第一组分析测量了"未来损失梯度"的流向。对于序列中的每一个位置，研究团队计算了"来自未来k步的学习信号"相对于"来自当前步的学习信号"的比值。在SPS中，xi（输入词位置）的这个比值在所有未来偏移量上都持续高于标准Transformer，这意味着xi的参数更多地被训练成"服务未来预测"的状态表示。而ρi（预测令牌位置）的这个比值则持续低于标准Transformer，因为它的参数主要被训练成"准确预测当前词"的即时预测器。两种梯度被清晰地分流到了不同的计算流水线上。"延迟状态"的分离效果则弱得多：其预测令牌的未来梯度比值持续偏低，而其输入词在超出临时窗口（约64步）之后梯度就急剧衰减，因为超出窗口后梯度只能通过间接路径传播。

第二组分析测量了持久记忆的"实际使用价值"。研究团队对已训练好的SPS和"延迟状态"模型分别进行了测试：强制把它们的持久KV缓存限制在只有64个词的滑动窗口内（而不是正常的4096个词的完整上下文），观察损失增加了多少。这个实验的逻辑很直观——如果持久记忆里存储的信息真的重要，删掉它应该会让模型表现变差更多。结果表明，同样削减持久记忆，SPS的损失增加幅度是"延迟状态"的1.4到2.2倍，且这一差距在随着文档内位置的推进而持续扩大。换句话说，SPS的输入词流水线真的发展出了更高质量、更不可或缺的长期记忆。

这两组分析共同构成了一个完整的因果链条：功能分离→梯度分流更彻底→输入词流水线专注于状态表示→形成更高质量的持久记忆→模型在推理时更依赖这些高质量记忆→最终表现更好。

七、 与现有研究的关联：站在哪些肩膀上

这项研究并非凭空而来，它与若干已有的研究发现形成了有趣的呼应和互补。

此前已有研究者注意到Transformer中"预测"与"状态"之间的张力。有研究者提出了两种竞争假说："面包屑假说"认为对当前预测有用的键值对未来也有用，两者天然一致；"预缓存假说"则认为早期位置的某些计算是专门为远未来的预测准备的，对当前预测是浪费。在预训练的Pythia模型中发现，"预缓存"现象随规模增大而增强，这与SPS假说的核心预设一致，也与机械可解释性研究中早期层就能预测未来词汇的发现相符。SPS可以看作是对这一张力的直接架构回应。

XLNet曾在模型内部区分"预测流"和"内容流"，但其动机是为了服务"排列语言模型"这一特殊训练目标，而非为了缓解标准从左到右训练下的预缓存问题。

另一类相关工作是在输入侧添加计算步骤，例如在提示词后插入暂停令牌或填充令牌，让模型在回答前有额外的前向传播步骤，动机来自于"Transformer的表达能力受上下文长度限制"的理论发现。这类工作与SPS共享"插入额外令牌"的机制，但目的是增加容量而非分离功能。研究团队的"延迟状态"和"2倍记忆"控制组正是专门设计来隔离这个区别的，两者都有额外计算但没有功能分离，都不如SPS，证明了分离本身才是关键。

还有一类工作专注于预测目标的改进，例如多词预测（同时预测未来多个词）和信念状态目标（预测未来状态的压缩表示）。这些方法改变的是"预测什么"，而SPS改变的是"在哪里预测"。两类思路不互斥，理论上可以叠加使用。

八、 局限与未来：还有哪些悬而未决的问题

研究团队在文章中坦诚地列出了几处当前证据的局限性。所有实验都在同一个数据集（FineWeb-Edu，偏向教育类英文网络文本）上进行预训练，尽管域外评估结果令人鼓舞，但换用不同数据配比的训练集是否同样有效尚未验证。最大实验规模停在16.78亿参数，而现实中主流大模型动辄数百亿乃至万亿参数，SPS的优势是否在更大规模上继续成立有待验证——尽管从XS到XL的差距单调递增的趋势让人对此持乐观态度。

在计算开销方面，SPS在训练时将每个位置的计算量翻倍（上下文长度加倍），这是一笔不小的成本。如何以更低的额外开销实现同等的功能分离，例如通过更浅或更窄的预测流水线，或者更稀疏的持久状态，是一个实践价值很高的开放问题。此外，当前的SPS让两条流水线共享所有模型参数，未来可以探索给两条流水线分配部分独立参数（例如独立的注意力权重或前向网络参数），在角色已经解耦的基础上进一步强化专业化分工，可能带来额外增益。

从更宏观的视角看，这项研究触及了一个在AI算力和数据资源都日益紧张的时代尤为重要的议题：如何从有限的训练数据中榨取更多的学习价值。高质量人类生成文本的总量是有上限的，而AI训练对数据的消耗速度已经让研究者开始担忧"数据耗尽"的问题。在这个背景下，能用一半数据达到相同效果的架构创新，其意义不仅仅是学术上的好奇心，更有实际的工程和经济价值。

归根结底，这项研究揭示的是一个简洁而有说服力的道理：当一个系统被迫同时做两件相互竞争的事情时，给它安排分工往往比单纯给它更多资源更有效。这个道理对AI成立，对团队管理成立，说不定对很多其他系统也成立。SPS Transformer在技术上是否会被未来的架构所超越还不得而知，但它所揭示的"功能纠缠是性能瓶颈"这一思路，值得在更多地方被认真对待。感兴趣的读者可以通过arXiv编号2607.01218查阅完整论文，研究代码也已在GitHub公开（搜索lil-lab/sps即可找到）。

Q&A

Q1：SPS架构在推理时会不会比普通Transformer慢很多、占更多内存？

A：SPS在推理时几乎没有额外代价。它的持久KV缓存大小与标准Transformer完全相同，峰值显存占用仅多出约1%。生成速度在各规模下仅慢6%到10%，这是因为每生成一个词只需同时处理一对输入词和预测令牌，延迟与标准Transformer基本一致。相比之下，"2倍记忆"控制组的显存占用会高出75%到81%，远比SPS代价大。

Q2：SPS的效率提升是因为模型参数变多了，还是因为功能分离本身？

A：是功能分离本身起了关键作用。研究团队专门设计了两个控制实验来排除其他解释。"2倍记忆"拥有双倍持久记忆空间但没有功能分离，表现不如SPS；"延迟状态"拥有相同计算量和持久记忆大小但没有功能分离，同样不如SPS。SPS与"延迟状态"的唯一关键区别就是是否实现了功能分离，而SPS在验证损失上持续高出0.019到0.021，证明分离本身才是核心。

Q3：状态-预测分离假说（SPS）在更大规模的模型上是否依然有效？

A：目前实验覆盖的最大规模是16.78亿参数，SPS与标准Transformer的性能差距在从5300万到16.78亿参数的全部五个规模上单调递增，最大规模差距最大。这一趋势让研究者对更大规模的效果持乐观态度，但尚未在数百亿或更大规模的模型上直接验证，这也是论文中明确指出的未来工作方向之一。