腾讯混元团队打破AI"记忆瓶颈"：让大模型像人一样拥有超长记忆的新突破

这项研究由腾讯混元团队联合上海科技大学、香港科技大学以及加州大学圣地亚哥分校共同完成，以预印本形式于2026年7月3日发布在arXiv平台，论文编号为arXiv:2607.02980。感兴趣的读者可通过该编号查询完整论文。

**AI的"记忆危机"：为什么大模型总是"忘事"？**

每个人都遇到过这样的困境——找一个帮你看文件的朋友，但文件太长了，朋友读着读着就忘了开头写的什么。现在最先进的AI大模型，本质上也面临类似的困境，只不过这个问题在技术上被称为"上下文长度限制"。

当你让AI帮你分析一本厚厚的报告、处理一段超长的对话记录，或者完成需要跨越大量文字才能找到线索的任务时，AI往往表现失常，要么忘了前面说的内容，要么处理速度奇慢无比，要么直接宣告无能为力。背后的根本原因在于，现有的主流AI注意力机制（可以理解为AI"看文字"的方式）存在一个致命缺陷：它需要让每一个字符都和文章里所有其他字符互相"打招呼"，随着文字越来越多，这种"互相打招呼"的计算量会以文字数量的平方速度增长。文字翻倍，计算量变成四倍；文字变成十倍，计算量变成一百倍。这种呈指数级膨胀的代价，让AI在面对超长文本时几乎束手无策。

腾讯混元团队的研究者们决定从根本上重新设计AI"阅读"的方式。他们提出了一种名为HiLS-Attention（Hierarchical Landmark Sparse Attention，分层地标稀疏注意力）的新机制，试图让AI在保持高质量理解的同时，大幅降低处理超长文本的计算代价。实验结果相当出人意料：这套新机制不仅没有在性能上打折扣，在很多超长文本任务上反而超越了原来那种"每个字都互相打招呼"的全量注意力机制，而且推理速度在512K超长上下文场景下快了将近14倍。

**一、现有方案的死穴：为什么"聪明地跳过"反而更容易出错？**

在HiLS出现之前，研究者们当然也尝试过各种"偷懒"方案。既然让所有字互相打招呼太贵，那能不能只让重要的字互相打招呼？这类方案被称为"稀疏注意力"，其中一个思路是把文章切成一段段的"块"（chunk），每次只让当前位置去找几个最相关的块，而不是扫描整篇文章。这就像图书馆里的读者不用把每本书都翻一遍，只需要找到几个最相关的书架就行。

然而，这套方案有一个隐蔽但致命的漏洞：如何准确判断哪几个块是"最相关的"？现有方法普遍用一种叫做"平均池化"的方式来给每个块制作摘要——简单地把块里所有词语的特征取平均值，就像把一个班级所有同学的成绩取平均值来代表这个班的水平一样。

问题在于，取平均会掩盖关键信息。假如有一道题，班里只有一个天才同学答对了，其他49个人全错，平均分只有2分。如果你只看平均分，你会认为这个班不行，错过了那个天才的存在。AI在查找关键信息时也是如此——文章里往往只有少数几个词语是真正的"关键针"，而平均池化摘要会把这几个关键词的权重稀释掉，导致AI找不到它们。

研究团队做了一个直观的实验来验证这一点。他们训练了一个3.45亿参数的小模型，让不同的注意力机制去完成"大海捞针"任务——在一段长文本里找到藏着的关键信息。结果发现，使用平均池化摘要的现有方案（包括NSA、DashAttention、InfLLM v2等业界知名方法）即便在模型训练范围内的文本长度上，性能也明显下滑。换句话说，这些方法在"考试范围内的题目"上都答不好，遇到更长的文本就更不用提了。

这个发现让研究团队意识到，问题的核心不在于稀疏选多少块，而在于**如何准确地总结每个块的特征**，以便精准地判断哪个块才是真正值得深入阅读的。

**二、给每个"书架"安排一位专属图书馆员：地标令牌与块质量摘要**

HiLS方案的第一个核心创新，来自于对"块摘要应该长什么样"这个问题的数学推导。

研究团队先从最理想的情况出发：如果能做全量注意力计算，对于每个块，可以精确计算出"这个块对当前查询有多重要"的分数——具体来说，就是把当前查询向量与块内所有词语的相似度经过指数函数处理后求和，这个值叫做"块质量"（chunk mass）。理想的块摘要，应该能在不做全量计算的前提下，尽可能准确地估计这个块质量。

研究人员用数学分析了块质量的结构，发现它本质上是一个"对数求和指数"函数。当块里所有词语的相关性分数比较均匀时，这个值大约等于平均分数加上一个和块大小有关的常数；当块里只有一个词语特别突出时，这个值大约等于那个最高分。平均池化只能处理第一种情况，遇到第二种"一枝独秀"的情况就失灵了。

关键突破来自一阶泰勒展开——这是一种数学近似工具，类似于用直线段来近似一段曲线。通过这种近似，研究团队推导出：块质量的对数可以被分解为两部分，一部分是"当前查询向量"与"块的压缩表示"之间的内积，另一部分是一个反映块内词语分布均匀程度的"熵修正项"。

这个"块的压缩表示"不是简单的平均值，而是以一种特殊的加权方式计算出来的——权重由块内某个特殊查询向量与各词语的相似度决定。研究团队将这个特殊查询向量的载体称为"地标令牌"（landmark token），在每个块的末尾附加一个特殊的地标令牌，让它通过完整的Transformer计算（包括注意力层和前馈网络层）来学习如何最好地总结这个块的内容。

可以用一个图书馆的比喻来理解：每个书架（块）都配备一位专业的图书馆员（地标令牌），这位图书馆员读过书架上所有的书，能够准确地向来访者描述"这个书架上最值得关注的内容是什么"。相比之下，平均池化就像是把所有书的封面描述混在一起，信息量大打折扣。而且这位图书馆员不是固定的，他会随着阅读内容的不同而调整自己的介绍重点，因为地标令牌是通过整个模型的训练过程不断优化的。

**三、让"选书架"的过程也参与学习：分层注意力的核心设计**

仅仅有更好的块摘要还不够，HiLS的第二个核心创新在于让"块选择"这个过程本身也能被训练优化。

在之前的方案里，块摘要只是用来做选择的工具——选完之后，摘要的分数就被丢弃了，不参与后续的计算。这导致训练大模型的"语言模型损失"（可以理解为"预测下一个词有多准"的分数）无法反馈给块选择过程，块摘要的质量只能靠间接的方式来提高，效果有限。

HiLS的做法是把块的重要性分数直接编织进最终的注意力权重计算里。具体来说，每个词语最终被关注的程度，等于"这个词语在自己块内的相对重要性"乘以"这个块相对于其他被选中块的重要性"。后者就是由地标令牌计算出来的块质量估算值。

这样一来，整个过程形成了一个完整的计算链条：地标令牌计算块摘要，块摘要决定块的重要性分数，块的重要性分数影响最终的注意力权重，最终的注意力权重影响模型对下一个词的预测，预测错误产生损失，损失反向传播回来，更新包括地标令牌在内的所有参数。这就是所谓的"端到端可学习的块检索"——整个检索过程在训练中被统一优化，而不是像以前那样被切割成独立的两个步骤。

用图书馆的比喻来说：以前是图书馆员推荐书架，读者按照推荐去读书，最后读完感觉不满意，但这种不满意的反馈无法告诉图书馆员"你的推荐哪里出了问题"。现在，读者的满意程度会直接影响图书馆员的绩效考核，图书馆员因此有了内在动力去不断改善自己的推荐方式。

这种设计还带来了一个意外的好处。研究团队发现，经过端到端训练的HiLS，其注意力分配方式比完全忠实于全量注意力的方案（Naive BSA）表现更好，尤其在需要多步推理的任务上优势明显。原因可能在于，全量注意力本身也存在"噪声"——那些完全不相关的词语虽然分数很低，但仍然会消耗一点注意力权重，积累起来会干扰信息提取。而HiLS通过学习可以更彻底地忽略不相关内容，提取出更纯净的语义信号。

**四、让AI同时管好"近处"和"远处"的信息：分层注意力的工作流程**

HiLS的完整工作流程可以用一个分层的"阅读策略"来理解。

当模型处理一段长文本时，对于每个当前位置，它的注意力被分成两个部分：一部分是"本地滑动窗口注意力"，负责仔细阅读当前位置附近的文字（比如前后512个词），保证对局部上下文的精准理解；另一部分是"远程块检索注意力"，负责从更早的历史文本中选取最相关的32个块（每块64个词，共约2048个词）进行精读，保证对关键历史信息的获取。

在具体实现上，地标令牌首先对历史文本中的每个块进行压缩摘要，生成带有熵修正的压缩键向量。当前位置的查询向量与所有块的压缩键向量做相似度打分，选出得分最高的32个块。然后，模型对这32个块的实际词语做精细的注意力计算，并用块级别的重要性分数来调节最终权重的分配。整个过程的计算量，无论文本有多长，都维持在一个近似固定的水平。

研究团队还针对现代大模型普遍采用的"分组查询注意力"（GQA）结构做了适配——在GQA中，多个查询头共享同一组键值，块的选择需要综合多个查询头的偏好。HiLS的解决方案是，对每个查询头分别计算块的重要性分数，然后取组内最大值作为最终的块选择依据，这样任何一个头认为重要的块都会被保留。

此外，研究团队还设计了一个轻量级的"低秩查询校准"模块（Q-Cal）。其动机在于，地标令牌生成的块摘要是多个词语的压缩表示，而原始的查询向量是为单个词语设计的，两者在信息层次上存在错位。通过一个小型的低秩线性变换（参数量极少，仅占模型总参数的约0.6%），可以生成一个更适合与块摘要打分的调整后查询向量，显著提升了块选择的精度和长程外推能力。

**五、让芯片也能高效运转：硬件感知的计算内核设计**

再好的算法，如果不能高效地在GPU上运行，也只是一纸空文。HiLS团队在设计计算内核时面临的核心挑战，来自于稀疏注意力的一个固有特性：不同位置选出的块集合各不相同，无法直接套用处理规则矩阵的标准加速方法。

现有的代表性方案NSA的内核设计，在每次计算时只处理一个查询词语，然后逐块加载对应的键值缓存进行计算。这种做法在GPU矩阵运算单元（Tensor Core）的利用效率上存在问题——矩阵运算最高效的情形是矩阵的维度达到一定大小（至少16），而单个查询头的维度只有1，GPU不得不进行大量无效的补零操作来凑齐尺寸。NSA的应对方案是要求GQA组的大小至少为16，但这限制了该方案在查询头与键值头比例不够大的模型上的适用性。

HiLS采用了一种不同的策略：把相邻的多个查询词语（通常16个）打包在一起，共同加载它们所选择的块的并集，然后同时对所有查询做注意力计算。这样，矩阵运算的维度变成了16乘以GQA组大小，即使GQA组很小，整体维度也足够大，GPU利用率大幅提升。

这种策略之所以可行，是因为相邻位置的查询往往会选择高度重合的块集合——研究团队实测发现，相邻16个查询词语所选块的重合率高达97%，在64K上下文长度下，加载的块集合只占可见历史块的不到10%，大量的键值缓存读取操作被节省掉了。并且，相邻查询块之间也有92.8%的块重合，进一步提升了缓存复用效率。这种设计也与推测解码（speculative decoding）等加速推理技术天然兼容。

**六、从已有模型"改造升级"：轻量级持续训练方案**

研究团队意识到，从零开始训练一个HiLS模型固然可行，但现实世界里已经存在大量经过海量数据训练的成熟全量注意力模型，如何让这些模型以较低成本"升级"为HiLS模型，是一个更具实用价值的问题。

他们提出了两种持续训练策略。第一种是"地标令牌调优"：冻结原模型的所有参数，只训练新引入的地标令牌嵌入向量和低秩查询校准模块的参数，这部分参数总量不超过原模型的1%。实验表明，仅需约50亿个训练词语（相对于原模型训练时使用的数千亿词语，这只是一个极小的比例），就能使改造后的模型在短文本任务上的表现与原模型相当，同时获得显著改善的长文本处理能力。

第二种是"全参数调优"：以原模型参数为起点，对所有参数进行联合更新，同时替换位置编码方式为HoPE（一种部分放弃绝对位置信息、专注语义相似性的编码方式）。这种策略在长程外推能力上效果更佳。

研究团队以Olmo3-7B这个开源模型作为起点，用约500亿训练词语进行持续训练（仅相当于该模型原始训练数据量的约8%），获得了令人满意的升级效果。

**七、实验数据说话：从小模型到7B，全面胜出**

研究团队的实验覆盖了从3.45亿到7亿参数的多个规模，以及从困惑度评估到各类长文本基准的全面测试。

在3.45亿参数的小模型实验中，HiLS-Attention在语言建模困惑度上与全量注意力几乎持平（8K训练长度下均为4.94），但在长文本检索性能上全面超越。具体数据非常直观：在8K训练长度范围内的单针检索任务上，HiLS达到100%准确率，而NSA只有49%，DashAttention是92%；在困难的变量追踪任务（需要跨越多个间接引用关系才能找到答案）上，HiLS在8K范围内得到72%的准确率，全量注意力只有36%，其他稀疏方案基本接近个位数或零分。

在长程外推方面，HiLS展现出格外突出的能力。在仅用8K长度训练的情况下，将其应用到1M（100万词语）长度的文本上，单针检索准确率仍然高达100%，多键多查询检索为97%，变量追踪为53%。相比之下，全量注意力在超出训练长度后，性能迅速跌落至零。

以256K上下文长度进行持续训练的实验中，HiLS在各个评估长度上的困惑度均低于全量注意力，差距随着文本长度增加而扩大，说明HiLS在更长文本上的信息利用效率更高。

在1.4B参数规模的300B词语预训练实验中，HiLS在短文本基准任务上的表现（包括HellaSwag、PIQA、ARC等常规知识测试）与全量注意力几乎一致，平均分甚至略高（49.06 vs 48.65）。这证明尽管HiLS在处理短文本时只关注不到一半的词语（全部在滑动窗口内，不需要远程块检索），但这并不影响短文本理解能力。

在7B模型的持续训练实验中，HiLS-HoPE版本在LongBench（一个涵盖多文档理解、长文档摘要、代码补全等真实长文本任务的基准）上的综合得分为33.2%，显著优于基线的Olmo3-CPT（使用YaRN外推）的31.7%，以及简单缩小滑动窗口的对照版本28%。特别是在需要超过8K上下文的任务子集上，HiLS的优势更加明显，多文档理解从14.2提升到25.0，文档摘要从12.9提升到18.1，综合类任务从33.6提升到50.7。

在RULER超长文本检索基准上，对Olmo3-7B进行HiLS持续训练后，8K范围内准确率为99%，16K为98.67%，64K高达97.33%，128K为94.67%——而原始Olmo3模型在16K时就几乎全部失效，仅有3.67%的准确率。

**八、推理速度的革命：13.5倍的提速从何而来？**

理论上的计算复杂度优势，最终需要在实际硬件上得到验证。研究团队在单块NVIDIA H800 GPU上对HiLS与全量注意力进行了系统的延迟对比测试。

测试结果非常清晰地呈现了两条不同走向的曲线。全量注意力的预填充（处理输入文本）延迟随文本长度呈二次方增长，解码（生成每个输出词语）延迟随键值缓存大小线性增长。HiLS的预填充延迟近似线性增长，解码延迟则几乎保持不变，接近于一个常数。

两条曲线的交叉点大约在16K词语长度处：在这个长度以下，全量注意力反而更快，因为HiLS的块检索开销尚未被分摊；超过这个长度后，HiLS开始持续领先，差距随长度增加而扩大。在512K词语长度时，预填充速度快了13.5倍（5.0秒 vs 67.0秒），每个词语的解码速度快了15.7倍（5.5毫秒 vs 85.9毫秒）。

这意味着对于实际的长文本服务场景——处理长篇报告、分析完整代码库、进行多轮长对话——HiLS不仅不会降低质量，反而能以极小部分的计算成本提供更好的服务。

**说到底，这项研究意味着什么？**

归根结底，HiLS-Attention做到了一件在此之前被认为很难同时实现的事：让AI既能快速处理超长文本，又不损失理解质量，甚至在很多情况下还有所提升。

过去，研究者们普遍认为这是一个两难困境——要速度就得牺牲精度，要精度就得承担高昂的计算成本。HiLS的核心洞察在于：问题不在于"稀疏本身会损失信息"，而在于"如何稀疏"的方式不够聪明。通过用数学推导出的更准确的块摘要方法，以及让块选择过程直接参与模型训练的端到端优化设计，HiLS找到了一条在两个目标之间不需要妥协的路径。

对于普通用户来说，这项研究的潜在影响是实实在在的。未来的AI助手将能够更轻松地帮你分析整本书、整个项目的代码库、数月的聊天记录，而不是在面对超过几页纸的内容时就开始出现理解错误或处理缓慢的问题。更重要的是，这种能力不需要堆砌更多的计算资源，而是通过更聪明的信息处理方式来实现，这对降低AI服务的运营成本、提高AI系统的可及性都有积极意义。

当然，研究团队也坦诚地指出了当前方案的局限性：HiLS目前还不支持上下文并行（一种把超长文本分散到多块GPU上并行处理的技术），这限制了在更大训练长度上的进一步验证。低秩查询校准模块的工作机制也尚未被完全理解，为什么它能同时改善短文本性能和长程外推能力，背后的数学原理有待深入研究。这些都是团队留给未来工作的课题。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2607.02980查阅完整论文，代码也已在GitHub上的Tencent-Hunyuan/HiLS-Attention仓库开源。

---

Q&A

Q1：HiLS-Attention的"地标令牌"和普通的平均池化块摘要有什么本质区别？

A：平均池化是把一个块里所有词语的特征简单取平均，就像用班级平均分代表整个班，会掩盖个别突出的信息。地标令牌是每个块末尾附加的一个特殊标记，它通过完整的Transformer计算来学习如何最准确地总结整个块的内容，生成的摘要不是简单平均，而是由数学推导出的加权组合，还包含反映块内词语分布均匀程度的修正项，能更准确地反映块对当前查询的真实重要性。

Q2：HiLS-Attention为什么比全量注意力在超长文本上的检索准确率更高？

A：全量注意力让每个词都和所有词互相计算相关性，不相关的词虽然得分很低但仍占用少量注意力权重，随着文本变长，大量不相关词语积累的"噪声"会干扰关键信息的提取。HiLS通过块压缩，在聚合块摘要时噪声会相互抵消而语义信号得以保留，提取出的信息更纯净，因此在变量追踪等需要多步推理的任务上反而比全量注意力表现更好。

Q3：把已有的全量注意力大模型改造成HiLS-Attention需要多大的代价？

A：代价相当小。研究团队验证了一种轻量级方案：冻结原模型的所有参数，只训练新加入的地标令牌嵌入和低秩查询校准模块，这部分参数不超过原模型的1%。以Olmo3-7B为例，使用约50亿训练词语（仅占原训练数据量的约8%）就完成了改造，短文本任务性能与原模型几乎持平，长文本性能大幅提升。