微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 长文本大模型推理时,每生成一个新词都要把之前所有的内容重新翻一遍,内存带宽早就被这件事占满了

长文本大模型推理时,每生成一个新词都要把之前所有的内容重新翻一遍,内存带宽早就被这件事占满了

2026-11-18 09:43
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-18 09:43 • 科技行者

2026 年初,如果你让一个大模型读完一本 40 万字的小说,再回答一个关于情节细节的问题,它要花多长时间?

答案可能让你吃惊:远比你想象的要慢,而且慢的原因很反直觉。不是算力不够,是显卡在"翻书"上花的时间太长了。

这就是长上下文解码面临的真实困境。大模型每生成一个新词,都要把之前所有看过的内容(专业说法叫 KV 缓存,Key-Value Cache,模型为了避免重复计算而存下来的历史信息)重新扫一遍,而且扫描的工作量随着上下文变长线性增长。上下文越长,这个"翻书"的负担就越重,直到显卡的内存带宽被彻底占满,算力反而闲着没事干。

这篇来自首尔大学的论文 JSSA(Joint Subspace Sparse Attention,联合子空间稀疏注意力)要解决的就是这个问题。它没有发明新的模型架构,而是找到了一条巧妙的路径,让模型在生成每个新词时只翻看一小部分最相关的历史内容,同时保证这种"挑着看"几乎不损失准确率,还顺带解决了一个工程上长期被忽视的隐藏成本。

问题到底难在哪

先说清楚为什么这事棘手。

传统的注意力机制(attention,模型判断当前词应该参考历史中哪些内容的核心计算)在解码阶段,每生成一个新词都要让这个词和历史上所有的词算一遍相关性分数,然后按分数加权读取对应的信息。上下文越长,候选的历史词越多,这个计算量和内存访问量就越大。因为这个阶段本质是在搬运数据而不是做密集计算,所以瓶颈落在内存带宽上,而不是显卡的算力峰值。

稀疏注意力的思路很直接:既然大部分历史词其实和当前要生成的内容关系不大,那就只挑最相关的一小部分去读,省下大部分的内存访问。

这个思路本身不新鲜,但怎么挑、挑完了怎么读,是两个完全不同难度的问题。

先说挑。目前常见的做法分成两类,一类是按"页面"或者"块"为单位挑选,比如 QUEST 和 SeerAttention-R 这类方法,把一串连续的词打包成一页,给整页打一个分数,分数高的页面就保留。这种做法天然适合显卡的批量读取习惯,因为一页里的数据在内存里是连续存放的,读起来快。但问题是,一页里可能混杂着真正重要的词和完全不相关的词,你没法只挑出页里有用的那部分,要么整页留下,要么整页丢掉。

另一类是逐词挑选,比如 Loki 和 FASA 这类方法,不按页打包,直接给每一个历史词打分,挑分数最高的那些词。这种颗粒度更细,理论上能挑得更准,但论文里有一组对比实验让人意外:在 LongBench 这个长文本理解基准测试上,同样是逐词打分,FASA 用的是直接挑选原始通道的办法,Loki 用的是先把词压缩到一个低维空间再打分的办法,结果 FASA 在每个测试的维度设置下都明显胜过 Loki,差距最大能到 20 多分。

这说明一件事:挑词这件事,光靠"把维度降下来"不够,关键是降维的时候有没有保住真正决定排序的信息。

低维打分到底在保什么

这里要理解一个概念。

查询(query):模型在生成当前词时发出的"提问向量",代表它现在想找什么样的信息。

键(key):历史中每个词存下来的"标签向量",代表这个词能提供什么信息。

两者做内积运算得到的分数,决定了当前词应该多大程度地参考这个历史词,这就是注意力分数的来源。

原始的查询和键向量通常有上百个维度,如果要给每个历史词打分,维度越高,计算和存储的开销就越大。所以逐词选择方法的核心思路都是把这些向量投影到一个更低维的空间里再打分,省时间省内存。

但问题就出在这个投影怎么做。Loki 的做法是尽量保住键向量本身的信息,让投影后的键和原始的键差距最小。这个目标听起来合理,但它漏掉了一件事:注意力分数不是键单独决定的,是查询和键两个向量做内积共同决定的。你把键保得再好,如果投影之后查询和键之间原本的相互关系被破坏了,排序照样会乱。

这就好比一家餐厅要给顾客推荐最合口味的菜,如果只研究"每道菜本身有什么特点"而完全不管"这位顾客喜欢什么",那菜品档案做得再详细也推荐不准。真正重要的是菜和人之间的匹配关系,单独优化菜的描述没有意义。如果不这样想清楚,你会把力气全花在"把菜品介绍写得更精确"上,而顾客该点的菜照样推荐错。

JSSA 的解决办法是换一个优化目标:不追求查询或者键单独投影后误差最小,而是直接追求查询和键做内积之后,这个乘积结果和原始的注意力分数之间的误差最小。论文把这个目标写成一个数学表达式,要求找到一个共享的投影方向,让

正交投影(orthonormal projection):一种特殊的降维变换,投影后的向量保持单位长度不变形,不会因为降维而扭曲向量之间原有的角度关系。

后的查询键内积,尽可能逼近原始高维空间里的内积结果。这个目标函数是非凸的,没有现成的公式可以直接解出最优答案。

研究者在这里做了一个关键的数学处理:他们证明了这个难解的目标有一个可以放松的上界,这个上界的形式简单很多,可以用矩阵的特征分解直接算出闭式解。换句话说,不用梯度下降一步步摸索,一次特征值分解就能拿到答案。

论文还做了一个很诚实的验证:既然这个闭式解只是原始目标的一个近似上界,那从这个解出发,再用真正的目标函数去做梯度优化微调,能不能进一步变好?研究者真的做了这个实验,把学习率跨越三个数量级做了扫描,结果发现无论怎么调,经过 1600 步优化后目标函数的下降幅度最多只有 1.6%,而且投影方向几乎没有移动,和初始解的重合度维持在 99.9% 以上。这说明闭式解已经落在了一个非常平坦、难以进一步优化的区域里,继续调没有实际收益。于是 JSSA 索性直接用这个闭式解,校准过程只需要统计一下查询和键的二阶矩,再做一次特征分解,几分钟就能跑完。

在 LongBench 测试里,这个联合投影方法在每一个压缩比例下都明显优于 FASA 和 Loki,差距在维度压得最紧的时候最大,比 FASA 高出 5.4 分,比 Loki 高出接近 25 分。

选完词之后,真正的麻烦才开始

讲完怎么挑词,还有第二个问题同样致命,挑出来的词怎么读。

你可能觉得,既然已经知道要读哪几个词的数据,直接去内存里取出来做计算不就行了?现实没有这么简单。

现代大模型为了省显存,普遍用一种叫 GQA(Grouped Query Attention,分组查询注意力)的结构。

在这种结构里,多个查询头共用同一套键值缓存,缓存在显存里是按照"头"为单位分区存放的,而且每个头负责的查询数量还不少。如果不同的键值头各自挑出了不一样的词,这种情况在逐词选择中很常见,那这些选出来的词在内存里的位置是完全分散的,这一片一片的数据东一块西一块,没法批量连续读取。

工业界常见的处理办法是先把选中的这些分散的键值数据"搬家",集中拷贝到一块新的连续内存里,再调用标准的注意力计算核去算。这个搬家的过程叫 gather(收集)。听起来是个小动作,论文里的实测数据让人意外:在 128K 长度的上下文、批处理大小为 16 的情况下,这个收集搬家的操作占了整个稀疏注意力计算总耗时的一半以上。

这就像你去图书馆借书,已经通过检索系统精确定位到想要的那 20 本书分散在不同楼层的不同书架,但图书馆的规定是所有借阅的书必须先集中搬到一楼前台,再统一办理,这个"先搬到前台"的流程本身耗费的时间,可能比你真正读书的时间还长。如果省掉这道手续,直接在原地读,效率会完全不同。但问题是,普通的借阅系统设计根本没考虑过"分散借阅、原地阅读"这种模式。

JSSA 针对这个具体问题设计了一个新的计算核,用 Triton(一种用于编写高性能 GPU 计算核的编程框架)实现,它不做数据搬家,而是让每个键值头保留自己独立挑出来的词的索引,计算的时候直接按索引去原始缓存里分散读取,整个层只启动一次计算核,在核内部自动把每个查询头映射到它对应键值头选出的索引上,原地完成计算。这是目前已知第一个支持在标准 GQA 缓存布局下,让不同键值头拥有各自独立选择集合、且不需要物理搬运数据的索引注意力计算核。

实测效果很直接。在 128K 上下文、LLaMA-3.1-8B 模型上,这种原地读取的方式比"先搬家再计算"的做法在注意力计算这一步快了将近一倍,批处理大小为 16 时,加速比从 25.35 倍跳到了 65.26 倍。而在 Gemma4-26B 这款模型上,端到端的解码吞吐量提升了 1.07 倍到 2.22 倍,而且批处理越大,省下来的比例越高。

这里有个容易被忽略但很重要的细节。研究者原本考虑过一个更简单的做法:让一层里所有键值头共享同一套选中的词,这样数据在内存里就是整齐连续的,不存在分散问题,也就不需要专门设计这个复杂的计算核了。但是他们做了一组对照实验,发现这个"图省事"的办法在短上下文下几乎没影响,可是一旦上下文拉长到 128K,准确率会明显掉,在 LLaMA 模型上掉了 5.29 分,在 Qwen3-14B 上掉了 1.32 分。原因在于,不同的键值头关注的内容本来就不一样,强行让它们共用一套选择,相当于牺牲了部分头的判断力去换取数据整齐,长文本场景下这种牺牲的代价会明显放大。JSSA 选择了难走的路,保留每个头的独立判断,然后用更复杂的工程手段去解决由此带来的数据分散问题。

实际效果:多种模型架构下的全面验证

这套方法不是只在一种模型架构上做实验,论文覆盖了三种主流的注意力结构:标准的 GQA、局部滑动窗口加全局注意力混合的架构(Gemma4 用的就是这种)、以及 DeepSeek 系列用的多头潜在注意力 MLA(Multi-head Latent Attention,一种把键值信息压缩进更紧凑的潜在空间的结构)。

在长文本理解基准 LongBench 上,KV 缓存预算压到只有 256 个词的极端情况下,JSSA 在三个测试模型(LLaMA-3.1-8B、Qwen3-14B、Ministral-3-8B)上都拿到了最好或接近最好的稀疏方法成绩,和完整注意力相比差距不超过 0.67 分。

在覆盖 32K 到 128K 上下文的 RULER 检索测试里,固定选词比例为 1.5625%(也就是在 128K 上下文下只选 2048 个词),JSSA 始终是最接近完整注意力的方法。对比之下,Loki 在 LLaMA 模型上随着上下文拉长,准确率出现明显的断崖式下滑;FASA 则在不同模型上表现忽高忽低,没有稳定的规律。

语言建模方面,用 PG-19 这个长篇小说数据集测困惑度(perplexity,越低代表模型对文本的预测越准),JSSA 在三个模型、三个上下文长度的九组测试里,和完整注意力的最大差距只有 1.11,而对比方法里 Loki 在 LLaMA 上的困惑度一度飙到 56,FASA 在同样场景下也到了 56.59,说明这些方法在某些模型上会出现突发性的严重失效,而 JSSA 没有出现这种情况。

推理能力测试更能体现问题的严重性。在 AIME 2025 数学竞赛题、MATH-500、GPQA-Diamond 这类需要模型进行多步推理的任务上,论文不仅看最终答案对不对,还记录了生成答案过程中模型输出了多长的文本。这个指标很关键,如果稀疏注意力让模型在推理过程中频繁"找不到"关键的中间信息,模型往往会反复试探、绕远路,生成的文字会异常冗长,即便最后答案侥幸对了,推理过程也是不稳定的。

数据显示,在 Gemma4-26B 上,一个叫 TriAttention 的对比方法在 AIME 2025 上的准确率从满血的 90% 掉到 22.5%,生成长度却膨胀到完整注意力的 2.29 倍,也就是说它不仅答错了更多题,还要写两倍多的内容才能(经常还是错误地)给出答案。相比之下 JSSA 在同一测试上保持 86.67% 的准确率,生成长度只多了 17%。在 GLM-4.7-Flash 这个用 MLA 架构的模型上,JSSA 甚至在三个推理基准上都略微超过了完整注意力的表现。

吞吐量:真金白银的加速

说了这么多准确率,最终还是要落到速度上。

在单张 NVIDIA B200 显卡上,针对 Qwen3-8B、Gemma4-26B、GLM-4.7-Flash 三款代表不同架构的模型做端到端解码吞吐量测试,上下文长度覆盖 32K 到 128K,稀疏注意力固定选 2048 个词。

结果是在 128K 上下文下,JSSA 相比完整注意力的加速比分别达到 1.51 倍、1.88 倍和 6.43 倍。GLM-4.7-Flash 上出现的 6.43 倍加速格外突出,因为它用的 MLA 架构本身的键值缓存就比标准 GQA 更紧凑,稀疏化之后的收益被进一步放大。而且在这个模型上,JSSA 的吞吐量和同样做了稀疏优化的 FASA 几乎持平,但推理准确率明显更高,这说明 JSSA 的联合打分方案并没有为了准确率牺牲速度。

更值得一提的是论文做的超大规模验证。研究者把 JSSA 应用到 DeepSeek-V3.1-Terminus(一个大约 700B 参数、用完整注意力的模型)上,和官方发布的 DeepSeek-V3.2-Exp(通过继续预训练引入了模型原生的稀疏注意力机制 DSA)做对比。

DSA(DeepSeek Sparse Attention):DeepSeek 团队在模型训练阶段就内置的稀疏注意力机制,需要用额外的训练成本让模型学会这种稀疏模式。

JSSA 完全不需要任何训练,只是在已经训练好的模型上后装一个选词和计算的模块。

结果是在 AIME 2025 上,JSSA 和原生 DSA 的准确率完全打平,都是 87.50;在 GPQA-Diamond 上 JSSA 略低一点,80.30 对 78.54,JSSA 反而更高。考虑到这些数字之间的差异已经接近评测本身的波动范围,可以说两者基本没有实质差距。而吞吐量上,JSSA 能达到原生 DSA 的 96.1% 到 99.2%,也就是说,不花一分钱做继续训练,靠一个后装模块,就能拿到接近原生训练出来的稀疏方案的速度和效果。

这个结果值得多想一层。模型训练阶段的继续预训练成本是极其高昂的,尤其是在 700B 这个参数规模上。如果一个完全不需要训练的后装方案能做到和训练出来的方案相近的水准,这意味着很多已经部署在线上、用完整注意力跑的大模型,理论上都有机会在不重新训练的情况下直接获得类似的加速收益。

写在后面

读这篇论文时,最让我意外的不是最终的加速数字,而是那组关于"直接优化精确目标能不能进一步变好"的实验。研究者完全有理由不做这个实验,闭式解已经效果不错,没人会追问它是不是全局最优。但他们还是跑了,用三个数量级的学习率扫描,最后老老实实地写下"没有可测量的提升"这个结论。这种愿意验证自己方法局限性的态度,比"方法有效"这个结论本身更难得。

另一个让我反复琢磨的细节是关于数据收集开销的发现。稀疏注意力领域过去几年的论文大多把精力放在"怎么选对词"上,这当然是核心问题,但这篇论文提醒我们,选对了词只是故事的一半。如果选出来的词没办法高效地被读取,省下的计算量很可能在数据搬运这一步被重新吃回去。这种"算法层面的胜利被系统层面的开销抵消"的情况,在很多工程领域里其实很常见,只是很少有人愿意花篇幅把这个隐藏成本量化出来,告诉你它能占到总耗时的一半以上。

这篇论文没有解决的问题也值得留意。它依赖一次性的校准过程来确定投影方向,而校准用的数据长度如果和实际部署场景的上下文长度不匹配,效果会明显下降,论文里展示了用 32K 长度校准、却在 128K 场景下测试,困惑度会从 11 左右恶化到 16 到 18。这意味着这套方法在真正落地的时候,还是需要针对目标场景做一次校准,不是完全的"开箱即用"。如果未来的上下文长度还在继续往百万级别甚至更长的方向发展,这种校准的稳定性会不会出现新的问题,这是个值得继续追问的方向。

Q&A

Q1:JSSA是什么?

A:JSSA(Joint Subspace Sparse Attention,联合子空间稀疏注意力)是首尔大学团队提出的一种训练无关的稀疏注意力方法,通过学习一个能同时保留查询和键交互信息的低维投影空间来挑选最相关的历史词,并配合一个不需要数据搬运的专用计算核来实现加速,在 128K 上下文下最高能让解码吞吐量达到完整注意力的 6.43 倍。

Q2:JSSA需要重新训练模型吗?

A:不需要。JSSA是后装式方案,在已经训练好的模型上直接添加选词和计算模块即可使用,校准过程只需统计查询和键的二阶矩再做一次特征分解,几分钟就能完成,不涉及任何梯度训练。

Q3:JSSA和模型原生的稀疏注意力DSA相比效果如何?

A:在700B参数规模的DeepSeek模型上对比,JSSA在AIME 2025上和原生DSA打平,在GPQA-Diamond上甚至略有超出,吞吐量能达到原生DSA的96.1%到99.2%,而原生DSA需要额外的继续预训练成本,JSSA则完全不需要训练。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-