俄亥俄州立大学与密歇根大学联手：让AI读超长文章不再"记性差"的新方法

这项由俄亥俄州立大学、密歇根大学与字节跳动Seed联合开展的研究，以预印本形式于2026年6月9日发布，论文编号为arXiv:2606.10650，有兴趣深入研究的读者可通过该编号查阅完整论文。

你有没有遇到过这样的朋友：聊天聊到一半，他突然忘了你半小时前说的话，导致整个对话逻辑断掉？现在的AI大语言模型，比如ChatGPT这类系统，也面临着类似的尴尬处境——当文章或对话越来越长，它们的"记忆"就开始出问题了。研究团队正是为了解决这个让人头疼的问题，提出了一套名为**DLA（Dynamic Linear Attention，动态线性注意力）**的新框架。

要理解这项研究的意义，可以用一个贴近生活的比喻来入手：把AI阅读长文章的过程，比作一个图书馆管理员整理馆藏笔记。

图书馆管理员需要把大量书籍的内容浓缩成卡片，放进一个固定大小的卡片盒里，方便日后查阅。问题是，卡片盒的空间有限，怎么决定哪些内容值得单独占一张卡，哪些内容可以合并成一张，就成了关键。如果管理员不管三七二十一，每隔固定数量的页数就强制合并一张新卡，那么有时候一场激烈的情节转折，刚好落在被合并的那一批页面里，就这样无声无息地消失在了摘要之中。DLA的核心思路，就是让这位管理员变得更聪明——让他根据每一页内容和之前内容的"差异程度"来决定是否开新卡，而不是机械地按页数来操作。

一、AI为什么会"读长文忘前文"

要说清楚DLA解决的问题，先得明白AI是怎么"读文章"的，以及为什么会出现记忆衰退的问题。

现代AI处理文字的核心机制叫做"注意力机制"，可以粗略理解为：AI在读到每一个词的时候，都会回头看一眼之前所有的词，判断哪些词和当前这个词关系最密切，然后综合这些相关词的信息来生成回应。这种方式非常精准，但有一个巨大的代价——计算量随着文章长度的增长呈"平方级"膨胀。文章翻倍，计算量变成四倍；文章变成十倍长，计算量就是一百倍。这就是为什么处理长文本时，AI会变得极其缓慢甚至无法运转。

为了解决这个效率问题，研究者们开发出了"线性注意力"机制。简单说，线性注意力让AI不再每次都回头看所有的词，而是维护一个"记忆摘要"，把过去的信息压缩进一个固定大小的矩阵里，每读到新词就更新这个摘要。这样计算量就变成了线性增长，效率大幅提升。然而代价是，把所有历史信息压进同一个摘要，就像把一整本书的内容塞进一张便利贴——难免丢失大量细节。

后来，研究者进一步改进，提出了"多状态线性注意力"的思路：与其只维护一张便利贴，不如维护一摞卡片，每张卡片负责记录不同时间段的内容摘要。其中最具代表性的方法叫做"对数线性注意力（Log-Linear Attention）"，它采用类似图书馆"芬威克树"索引的方式，把历史信息按照时间远近分成不同粒度的摘要——越近的内容摘要越细，越远的内容摘要越粗。这个方案让训练复杂度变成了O(T log T)，推理时每一步只需要O(log T)的时间和内存，在效率上取得了很好的平衡。

然而，这套方案有一个根本缺陷：它决定"什么时候开一张新卡片、什么时候把旧卡合并"的规则是固定死的，完全不看内容本身。管理员会机械地按照"每隔N页就合并"的规则操作，完全不管这N页里是不是刚好包含了一段至关重要的剧情转折。正因如此，那些在故事发展中举足轻重的"语义转折点"，很可能被不分青红皂白地淹没在粗粒度的摘要里，永远无法被AI精准召回。而且更糟糕的是，这种合并是不可逆的——一旦合并，单独的细节就再也找不回来了，错误还会随着文本越来越长而不断积累。

二、DLA如何让图书馆管理员"读懂内容再决策"

研究团队用数学方法严格证明了上述直觉：固定分块策略在内容不均匀的序列上，必然会产生比自适应策略更大的信息误差。具体来说，他们证明了一个"状态偏差定理"：把一段文本压缩成摘要时，产生的误差上界，正比于每个块内部内容的"异质性"——也就是这个块里各个词之间有多不同。如果固定策略强行把两段意思截然不同的内容塞进同一个块，这个块的异质性就会很高，误差就会很大。相反，如果每个块只包含意思相近的内容，异质性趋近于零，误差也就趋近于零。这个结论在数学上非常清晰：自适应地对齐块边界与语义边界，从根本上优于固定分块。

基于这个洞察，DLA的第一个核心设计应运而生，叫做**信息感知动态状态合并**。

回到图书馆管理员的比喻：现在这位管理员不再机械地按页数工作了。他读完每一页，会先问自己一个问题："这一页的内容，和我手上当前这张卡片里记录的内容，差了多少？"如果差异不大，就把这页内容继续补充进当前卡片；如果差异很大，说明内容发生了重要的转折，就专门为这页开一张新卡片。

在技术层面，这个"差异有多大"是通过一个叫做**状态信息分数（State Information Score）**的指标来衡量的。对于每一个新来的词，系统会把这个词自身的信息矩阵，和当前最新的记忆状态矩阵做比较，用两者之差的"F范数"（可以理解为衡量矩阵差异的一种数值，类似于两个图片之间的像素差异度）除以当前状态的F范数，得到一个比值。这个比值越大，说明新词带来的信息越新颖，越应该单独开一张新卡。当这个比值超过一个设定好的阈值τ时，就触发"开新卡"的操作；否则，就把新词的信息合并进当前卡片。

在训练阶段，为了让模型能够流畅地通过梯度反向传播学习（也就是让AI能够"从错误中吸取教训"），"要不要开新卡"这个判断使用的是平滑的软性门控方式，就像一个可以连续调节的旋钮，而不是一个非开即关的开关。到了实际使用（推理）阶段，则切换回清晰的硬性判断——分数超过阈值就开新卡，没超过就合并。这样既保证了训练过程的顺畅，又确保了实际使用时产生离散、清晰的记忆状态。

这种设计的效果是：当AI读到的文本内容稳定、连贯时，会把很多词合并进同一张卡，节省空间；当文本出现重要的语义跳跃——比如从描述自然风光突然转到讲述人物内心独白——管理员会敏锐地察觉到这个变化，及时开一张新卡，确保转折前后的信息不会混淆。

三、卡片盒快装满了怎么办：容量受限的记忆管理

光有"读懂内容再决策"还不够。如果每次出现语义转折都开新卡，卡片数量可能会无限增长，卡片盒早晚会装满——而在实际运行中，AI的内存是有限的，推理速度也需要保持稳定。如果卡片数量随着文本长度不断变化，会导致内存布局不规则、每次查询的计算量也忽大忽小，极难高效运行。

于是研究团队引入了第二个核心设计：**容量受限的记忆建模**。

具体做法是：设定一个固定的卡片盒容量上限K。每当一张新卡需要加入却发现卡片盒已满时，管理员不是随机丢弃一张旧卡，而是在所有相邻的卡片对里，找出"信息密度之和最低"的那一对，把它们合二为一，腾出一个空位来存放新卡。

"信息密度"的计算方式很直观：每张卡片记录了它自己包含的所有词的信息分数总和，以及这张卡片里总共有多少个词。两者相除，就是这张卡片的平均信息密度。两张相邻卡片信息密度之和最低，意味着把它们合并损失的信息量最少——就好像管理员在清理卡片盒时，优先把两张内容最相似、最不重要的卡合在一起，而不是贸然合并那两张记录了关键情节的卡片。

另外，只允许合并相邻的卡片，也是一个精心设计的限制。这是为了保证卡片始终按时间顺序排列——不能把第1章的摘要和第20章的摘要强行合并，否则时间顺序就乱了，AI理解因果关系和时间线的能力会受到严重损害。

经过这两步操作，DLA维护的始终是一个大小固定（至多K张卡）、按时间顺序排列的记忆状态集合。每次AI需要回答问题或者继续生成文字时，就用当前的查询向量，对这K张卡片分别做一次加权读取，每张卡片对最终输出的贡献权重，由一个在训练中学到的线性层来决定。整个读取过程的计算量始终固定，推理速度稳定可预测。

四、实验室里的成绩单：DLA跑赢了哪些对手

研究团队为了验证DLA的效果，在两种不同的线性注意力骨干模型上进行了预训练：一个是Mamba-2-780M（约7.8亿参数），另一个是Gated DeltaNet-1.3B（约13亿参数）。训练使用了500亿个词的语料，序列长度设为16K，在4块英伟达A100 GPU上完成。记忆缓存的容量上限K设置为30，与对数线性注意力方法的最大状态数保持一致，确保对比公平。评测覆盖16个数据集，横跨三大类任务。

第一大类是常识推理，包含8个基准测试，比如LAMBADA（要求根据上下文预测一个词）、PIQA（物理常识判断）、HellaSwag（选择最合理的故事结局）、WinoGrande（词语指代消歧）、ARC系列（科学考题）、OpenBookQA（开放书本问答）和CommonsenseQA（日常常识问答）。在这一类任务上，DLA版的Mamba-2平均准确率达到34.2%，不仅比Log-Linear版本高出约3.2个百分点，甚至比参数量相近的全注意力Transformer（32.9%）还要高，这是一个相当亮眼的结果，因为全注意力Transformer通常被认为是精度上限。Gated DeltaNet加上DLA后平均达到34.8%，比Log-Linear版本的32.6%也有明显提升。在某些单项测试上，DLA相对于最佳基线的提升幅度甚至高达52%（LAMBADA任务，Mamba-2上）和22%（LAMBADA任务，Gated DeltaNet上）。

第二大类是上下文检索，包含6个数据集：SQuAD（阅读理解抽取答案）、TriviaQA（知识问答）、SWDE（网页结构化数据提取）、FDA（药物文档检索）、NQ（自然问题）和Drop（需要数学推理的阅读理解）。这类任务要求模型能够精准地从长文本中找到特定信息，对记忆管理的质量要求极高。DLA在这一类任务上表现突出：Mamba-2加DLA的平均分达到13.7%，而Log-Linear版本只有6.3%，提升幅度高达44%；Gated DeltaNet加DLA达到28.8%，比Log-Linear版本的20.3%提升42%。其中在TriviaQA上，DLA比基线提升了49%；在SWDE上提升了51%；在NQ上更是提升了400%（从0.0提升到1.0，虽然绝对值不高，但相对增幅极为显著）。

第三大类是长上下文建模，分为两个方向。一是RULER基准，专门测试模型在4K到16K上下文长度下能否找到隐藏在文本中的"针"（关键信息），分为单针测试和多针测试（需要同时找到多个关键信息）。DLA的表现令人印象深刻：在最难的单针S-NIAH-3测试（文本最长、最难）上，Mamba-2+DLA的得分从Log-Linear版本的10.6%跃升至37.1%，相对提升达250%；在多针MQ-NIAH测试上，从25.2%提升到42.5%，提升67%。二是LongBench基准，测试模型在各种长文本理解任务上的综合能力，包括单文档问答、多文档问答、文本摘要和小样本学习。DLA在这些任务上普遍大幅超越基线，例如在叙事类问答（NQA）任务上，Gated DeltaNet+DLA比Log-Linear版本提升了57%；在某些摘要和小样本任务上，提升幅度更达到80%至266%。

五、不只是效果好，还真的更快更省内存

效果好了，但会不会因为引入了复杂的动态判断而变慢或更耗内存？研究团队专门做了效率测试，结论让人放心。

在不同批次大小（每次同时处理多少条文本）的测试中，DLA相比Log-Linear注意力版本，在吞吐量（每秒能处理多少词）上更高，内存占用更少。当然，两者都比原始的单状态Mamba-2占用更多内存，因为毕竟要维护多张卡片。但在两个多状态方法的相互比较中，DLA的优势是一致的。

在不同上下文长度的测试中，随着文本越来越长，DLA依然保持了比Log-Linear更高的吞吐量和更稳定、更低的内存消耗。这说明DLA在保持甚至超越Log-Linear精度的同时，实现了更好的工程效率，这在实际部署中具有非常重要的价值。

六、拆解DLA：两个设计缺一不可

研究团队还做了一系列消融实验，也就是把DLA的两个核心设计分别拆开，单独测试各自的贡献。

他们定义了一个"DLA(I)"版本：只有信息感知动态状态合并，没有容量受限记忆管理。测试结果显示，仅DLA(I)就已经比Log-Linear版本有了显著提升——在Mamba-2的LAMBADA任务上，Log-Linear是13.2%，DLA(I)是20.1%，而完整的DLA则达到了23.9%。在RULER长上下文测试上，Log-Linear是39.0%，DLA(I)是44.0%，完整DLA是57.8%。这组数据说明，两个设计各有独立贡献，缺少任何一个都会损失性能，组合在一起才能发挥最大效果。

研究团队还测试了超参数的敏感性。他们把记忆容量K从默认的30分别调整为20和40，把合并阈值τ从默认的0.6分别调整为0.5和0.7，结果发现各项性能指标变化都非常小，基本在1到2个百分点以内。这意味着DLA对这两个超参数的选择不敏感，不需要精细调参就能稳定工作，在实际应用中具有很强的鲁棒性。

说到底，DLA做的事情其实很朴素：它让AI在整理记忆的时候，先看看内容本身的变化程度，再决定是合并还是新开一份记录。这听起来似乎是个常识，但在此之前，几乎所有方法都是按固定规则机械操作的。这项来自俄亥俄州立大学、密歇根大学和字节跳动Seed的研究，用严谨的数学证明了自适应策略在理论上的优越性，并在16个不同的评测任务上交出了一份全面超越前辈的成绩单，同时还保持了更高的运行效率。

对于普通用户来说，这项研究的意义在于：未来当你用AI工具帮你处理一篇几万字的报告、阅读一份长合同，或者在一段漫长的对话中保持话题连贯时，底层的记忆管理机制很可能就采用了类似DLA这样的思路——它能更聪明地判断什么信息值得被单独记住，什么信息可以被合并压缩，从而让AI的"长期记忆"更可靠，不再那么容易忘事。

当然，这项研究也有其局限性和尚待探索的空间。合并阈值τ目前是一个全局固定的参数，不同的任务类型和文本风格对于"什么程度的差异算作语义转折"的感知可能有所不同，如何让阈值本身也能自适应，是一个值得继续探索的方向。此外，目前的实验规模属于学术级别，如何将这套框架扩展到千亿参数级别的超大模型，也是未来工作的重要课题。有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2606.10650查阅完整原文。

---

Q&A

Q1：DLA和普通线性注意力有什么区别，为什么DLA更好？

A：普通线性注意力只维护一份固定的记忆摘要，把所有历史信息强行压缩进去，容易丢失细节。DLA维护多份按时间排列的记忆卡片，并且根据每个词和当前记忆的差异程度来决定是合并进去还是新开一份，能更好地保留语义转折处的关键信息，理论和实验都证明它在长文本任务上优于固定策略。

Q2：DLA的记忆容量上限K设为30够用吗，改大会不会更好？

A：实验显示K从20调到40，性能变化非常小，基本在1到2个百分点以内。这说明DLA对容量上限不太敏感，30已经够用。核心原因是DLA会优先合并信息密度最低的相邻卡片，即使容量有限，保留下来的都是信息量最高的摘要，不会因为K稍微变小就大幅损失性能。

Q3：DLA训练和推理阶段的策略为什么不一样？

A：训练时用软性门控（连续可微的方式），是因为AI学习依赖梯度反向传播，需要每个操作都是平滑可导的，硬性的非零即一判断会阻断梯度流动。推理时切换为硬性阈值判断，是为了产生清晰的离散记忆状态，让内存布局规则、计算量稳定可预测，便于高效部署。两阶段策略不同，但判断依据是一致的，所以训练学到的信息感知能力可以直接用于推理。