
你有没有想过,大模型说话为什么慢?
不是慢在"想",而是慢在"说"。每吐出一个字,模型都要把前面所有内容重新算一遍,一个字一个字地蹦。这就像你写文章时不能提笔就写完整句话,必须写一个字停一下,确认这个字没问题,再写下一个字。
这篇论文要解决的,正是这个"蹦字"的问题。而且它找到了一个前人没注意到的突破口:让"起草者"去偷看模型大脑里那些被压缩过的记忆。
**大模型说话慢,一个"学徒"来帮忙**
先说说业内已有的解决思路。
投机解码*:一种加速大模型生成的技术,核心思路是找一个小而快的"草稿模型"先猜几个词,再让大模型一次性检查这些猜测对不对,对的就直接采用,省去了大模型逐字生成的时间。
这就像你口述一封邮件,秘书一边听一边把她认为你接下来要说的几句话先写出来,你扫一眼,对的就签字确认,错的地方从那里开始重写。只要秘书猜得准,你签字的次数就能大幅减少,邮件写完的速度自然就快了。
但这个"秘书"水平不稳定。它猜得准不准,直接决定了加速效果。
早期的投机解码里,草稿模型是另一个独立的小模型,逐字生成候选词,这个过程本身也是串行的,相当于秘书自己写字也很慢。后来出现了并行起草的方案,比如论文里提到的DFlash和DSpark:
DSpark*:一种结合"并行主干"和"轻量序列头"的投机解码方法,能一次性预测一整块(比如7个)候选词,而不是一个一个猜。
DSpark的思路是,秘书不再一个字一个字写,而是一下子把接下来七个词的草稿都列出来,再让老板检查。这确实快了很多,但问题也随之而来:秘书要同时预测七个位置的内容,她手头的参考资料,也就是大模型给出的"隐藏特征",到底够不够用?
**隐藏特征这把尺子,量不准所有的位置**
这里要讲一个容易被忽略的细节。
草稿模型参考的"隐藏特征"是大模型在生成每一个词的时候,根据当前这个词的需要去关注上下文信息后留下的痕迹。换句话说,这些特征是"为当前这一个词服务的",它反映的是模型在那个瞬间最关心什么。
但问题来了:草稿模型要同时预测接下来七个位置的词,而这七个位置可能需要完全不同的上下文重点。第一个词可能需要语法信息,第三个词可能需要前文某个具体数字,第六个词可能需要呼应开头提到的某个人名。可大模型留下的那份隐藏特征,只反映了它生成当前这个词时的关注焦点,并没有专门为后面六个位置的需求做准备。
这就好比你让一个助理根据你昨天开会时记的笔记,去预测你接下来五句话要说什么。笔记当然有用,但笔记是根据你昨天说话时的思路记的,而你接下来要说的内容可能需要完全不同的侧重点,笔记里未必有。如果助理只能看笔记,猜错的概率自然会高。
那有没有办法让助理直接去问你本人,而不是只看笔记?
答案是有的,但代价不小。
KVShot*:一种让草稿模型直接读取目标模型KV缓存(存储了每个历史词具体信息的记忆库)来获取新鲜上下文的方法。
KVShot的做法是让助理直接翻看你完整的会议记录本,而不仅仅是笔记摘要。这当然信息更全,但问题是会议记录本会越写越厚,开会时间越长,翻阅和检索的成本就越高。这就是论文里提到的,KV缓存的大小会随着前缀长度增长,读取它的I/O开销也水涨船高。
那有没有一种记忆形式,既能提供比隐藏特征更丰富的信息,又不会随着对话变长而越读越慢?
**混合线性注意力模型的记忆,是个固定大小的"压缩包"**
这就要说到这篇论文真正的切入点了:混合线性注意力模型里的循环状态。
混合线性注意力*:一种结合循环层(高效但压缩历史信息)和全注意力层(精确但存储开销随长度增长)的模型架构,试图兼顾效率和检索精度。
循环状态*:混合线性注意力模型里的一种固定尺寸矩阵,它不断把历史信息压缩累积进去,不管对话多长,这个矩阵的大小都不变。
普通的注意力机制相当于把每一句话都原封不动地记在一个越来越厚的本子上,想查什么就翻到那一页。而循环状态更像是把每一句话的要点不断揉进一张固定大小的卡片里,卡片大小从头到尾都一样,但里面的信息密度会越来越高。
这意味着,草稿模型如果能直接读取这张"压缩卡片",就能获得比隐藏特征更丰富、更原始的历史信息,而且读取成本是固定的,不会随着对话变长而增加。
这正是ReaDy这篇论文的核心发现:与其让草稿模型去啃KV缓存这个越来越厚的本子,不如直接去读循环状态这张固定大小的卡片。
论文还从数学上论证了这件事的必要性。简单说,如果草稿模型手里只有几个固定角度的"读数",那么只要有新的角度去提问,状态里就可能藏着这些读数没有揭示的信息。换句话说,固定的几次查询不能代表这个状态的全部内容,换个角度去问,往往能问出新东西。
这就好比你去银行查询账户余额,柜员只给你看了"本月总支出"和"本月总收入"这两个数字。这两个数字确实是账户记录的一部分,但如果你想知道"上周三那笔具体消费是什么",这两个总数字没法回答你,你得换个提问角度,直接去查流水明细。ReaDy做的事,就是让草稿模型学会用不同的"提问角度",去直接查询循环状态里那些隐藏特征没有暴露的细节。
**ReaDy的设计:给每个位置配一把专属钥匙**
讲清楚了为什么要读循环状态,接下来就是怎么读的问题。
ReaDy的做法是,在草稿模型生成的最后一层,加入一个叫"状态阅读器"的轻量模块。这个阅读器做的事情很直接:根据每个待预测位置当前的表示,生成一个专属的"查询",拿这个查询去读目标模型的循环状态,取回一段补充信息,再通过残差连接加回到草稿表示里。
残差连接*:一种常见的神经网络设计,把新计算出的信息直接加到原有信息上,而不是替换掉原有信息,这样既能引入新内容,又不会丢失原本已经学到的东西。
这里有个关键的工程细节:这个查询和读取过程都用了低秩技巧,把原本128维的空间压缩到8维左右去做查询和取值,读完再映射回原来的维度。这样做是为了控制计算和数据搬运的开销,不然引入这套机制反而会拖慢整体速度,得不偿失。
论文的消融实验很直接地证明了"够用就好"这个道理。实验对比了8、16、32、128这几种不同的读取维度,结果发现维度开到128虽然接受长度稍微高一点,但吞吐率反而从7.97%的提升掉到了7.81%。维度越大,读取开销也跟着涨,收益很快就被开销吃掉了。最终8这个最小的维度反而给出了最好的综合表现。
这就像你去图书馆查资料,不需要把整本参考书都借回家细读,摘抄出最相关的那几页笔记,往往比捧着厚厚一本书效率更高。书越厚,翻找和搬运的时间成本越高,关键信息却未必随书本厚度线性增加。
实验还测试了该从模型的哪些层去读取状态。单独读第62层能带来7.48%的接受率提升,读第2层和第30层分别只有2.45%和2.85%。把第30层和第62层组合起来效果最好,达到8.50%,但如果再加上第2层,反而掉到6.89%。这说明不是读的层数越多越好,关键是要挑对那几个真正有互补信息的层,多读了没用的层反而增加了噪音和开销。
同样的逻辑也体现在"该把读取到的信息注入到哪一层"这件事上。论文测试了只在最后一层注入、在多个层都注入、以及在所有层都注入这三种方案,结果吞吐率随着注入层数增加反而下降,从302.78掉到297.35,而接受长度几乎没有变化。这再次印证了一个朴素的道理:补充信息这件事,一次做到位就够了,重复做并不会让结果更好,只会增加不必要的成本。
**两阶段训练:先学会看,再学会写**
ReaDy的训练分成两步。
第一步,冻结整个草稿模型主干,只训练那个新加的状态阅读器,用2万条样本。第二步,把阅读器和草稿模型的LoRA参数一起训练,用5万条样本。
LoRA*:一种参数高效微调技术,不直接修改模型的全部参数,而是在原有参数旁边加一组很小的低秩矩阵,训练时只调整这组小矩阵,大幅降低训练成本。
这种先单独练阅读器、再整体联调的顺序安排,很像学一门新乐器时的常见路径。先单独练习手指在琴键上的动作,熟悉了基本手感之后,再把这个动作融入到完整的曲子演奏里去。如果一上来就要求又要认准确的键位,又要跟上节奏弹好整首曲子,手忙脚乱反而什么都学不扎实。
论文还专门做了一个对照实验,验证这套改进到底是训练带来的,还是状态阅读器本身带来的。结果显示,单纯微调但不加状态阅读器,吞吐率从280.42提升到286.50,涨了2.17%;而加上状态阅读器之后,吞吐率进一步冲到302.78,相对微调版本又多涨了5.68%。这说明训练调整和状态阅读器这两部分各自都有贡献,state access确实带来了额外的真实收益,而不只是训练数据变多带来的效果。
**实测数据:七个场景全面领先**
论文在Qwen3.8-27B这个270亿参数的模型上,用一块NVIDIA B200 GPU,跑了七个覆盖数学、代码、对话场景的基准测试。
吞吐率*:这里指服务器每秒能生成的词元数量,是衡量解码速度最直接的指标。
接受长度*:每一轮验证平均能确认多少个词元,数字越大说明草稿命中率越高,大模型需要重新纠正的次数就越少。
结果显示,自回归解码(也就是最原始的一个字一个字生成)的平均吞吐率只有95.86词元每秒,DSpark能做到280.42,达到了2.93倍加速,而ReaDy进一步冲到302.78词元每秒,相当于3.16倍加速,比DSpark再提升7.97%。
具体到各个任务上,数学任务GSM8K的加速比达到4.08倍,MATH-500达到3.68倍;代码任务里HumanEval是3.25倍,MBPP是3.30倍;对话类任务MT-Bench和Alpaca分别是2.67倍和2.63倍。七个基准,ReaDy全部跑赢了DSpark,提升幅度从6.43%到9.83%不等。
论文还做了一个很直观的观察,叫"草稿前缀存活率"。简单说,就是草稿模型一次性提出七个候选词之后,这七个词能不能全部通过大模型的检查。结果显示,在GSM8K数据集上,第七个位置的存活率从45.98%提升到58.17%;在HumanEval上从25.89%提升到31.19%;在MT-Bench上从12.59%提升到16.11%。这说明ReaDy的草稿不仅平均质量更高,而且更不容易在靠后的位置"翻车"。
论文里还给了一个具体的例子。一段故事摘要任务里,大模型接下来要生成的七个词是"forest, that, produced, golden, apples, ., He"。DSpark的草稿在第三个词就猜错了,把"produced"猜成了"harvested",导致只有前两个词被接受;而ReaDy七个词全部命中。一个词的差错,直接决定了整段草稿能用多少。这个细节很好地说明了,投机解码的效率高度依赖草稿准确率,哪怕只错一个位置,后面全部白费。
| 基准测试 | 自回归吞吐率 | DSpark吞吐率/加速比 | ReaDy吞吐率/加速比 | ReaDy相对提升 |
|---|---|---|---|---|
| GSM8K | 96.40 | 362.25 / 3.76× | **393.60 / 4.08×** | +8.66% |
| MATH-500 | 95.99 | 331.90 / 3.46× | **353.23 / 3.68×** | +6.43% |
| HumanEval | 95.60 | 287.95 / 3.01× | **310.29 / 3.25×** | +7.76% |
| MBPP | 96.21 | 296.00 / 3.08× | **317.55 / 3.30×** | +7.28% |
| LiveCodeBench | 94.33 | 219.23 / 2.32× | **234.28 / 2.48×** | +6.86% |
| MT-Bench | 96.11 | 234.54 / 2.44× | **256.71 / 2.67×** | +9.45% |
| Alpaca | 96.38 | 231.09 / 2.40× | **253.79 / 2.63×** | +9.83% |
| **平均** | 95.86 | 280.42 / 2.93× | **302.78 / 3.16×** | **+7.97%** |
**把工程开销压到最低:别让"好方法"输给"慢实现"**
一个方法再聪明,如果实现起来又慢又占内存,照样没有实用价值。
论文花了不少篇幅讲工程优化,这点值得单独说一说。状态阅读器要先把目标模型的循环状态"收集"过来,再做归一化、低秩映射、特征打包这些步骤。如果每一步都单独分配一块临时内存,来回搬运数据,开销会迅速累积。
论文设计了一套融合算子*:把原本分散执行的多个计算步骤合并成一次性完成的操作,减少中间结果的存储和搬运次数,从而降低延迟。
用上这套优化后,状态收集的延迟从16.388微秒降到4.622微秒,降幅达71.8%;整个状态阅读器的延迟从65.519微秒降到47.094微秒,降幅28.1%。这就像搬家时,与其把每件家具分别装箱、分别搬运、分别卸货,不如规划好动线,一趟车把能装的东西都装上,中途不停车不卸货,到地方一次性卸完。步骤看起来一样,但减少了中间环节的反复装卸,总耗时就能明显缩短。
**写在后面**
读完这篇论文,有一个点让我反复琢磨:为什么"读数"不等于"状态"这件事,直到现在才被明确拿出来讨论?
混合线性注意力模型已经不是新鲜事物了,循环状态这种压缩记忆的设计也用了好一阵子。但大家默认的思路一直是,草稿模型只要看大模型吐出来的隐藏特征就够了,因为这些特征已经是模型"深思熟虑"后的产物。这篇论文提醒我们,深思熟虑是针对当下这一步的,不代表它天然适配后面几步的需要。这个洞察其实挺朴素,但在此之前似乎没人真正把它系统地做成一个可落地的方法。
还有一个细节值得玩味:论文里那个故事摘要的例子,DSpark错误地把"produced"猜成了"harvested"。这两个词在语义上其实很接近,都是"产出"的意思,但上下文里的准确用词只有一个。这说明草稿模型的错误往往不是离谱的胡说,而是在几个合理选项里选错了一个,而循环状态里恰好藏着能帮它做出正确判断的那一点点额外线索。
这篇论文没有解决的问题也很明确:它目前是在一个已经训练好的DSpark草稿模型基础上做适配,并没有从零训练一个完整的、原生带状态阅读能力的草稿模型。如果从一开始就把这套机制设计进去,会不会有更大的提升空间?这是论文自己留下的开放问题,也是值得后续工作继续追的方向。
Q&A
Q1:ReaDy是什么?
A:ReaDy是一种面向混合线性注意力大模型的投机解码方法,它让草稿模型在生成候选词时,除了参考目标模型的隐藏特征,还能直接查询目标模型压缩过的循环状态,获取更贴合当前预测位置需要的补充上下文,从而提高草稿命中率和解码速度。
Q2:ReaDy相比DSpark能快多少?
A:在Qwen3.8-27B模型上,ReaDy相对自回归解码平均能加速3.16倍,相对DSpark进一步提升吞吐率7.97%,接受长度提升8.50%,在数学、代码、对话七个基准测试上全部跑赢DSpark。
Q3:ReaDy为什么要读循环状态而不是KV缓存?
A:KV缓存会随对话变长而不断增大,读取它的开销也跟着增加;而循环状态是固定大小的压缩矩阵,不管对话多长,读取成本都不变,配合低秩查询和融合算子优化,能在提供更丰富上下文的同时把额外开销控制到很低。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。