
你有没有想过,当你让一个AI模型读一本十万字的小说,然后问它某个细节的时候,它脑子里到底在发生什么?
传统的做法很暴力:把每个字都和之前所有的字两两比较一遍,看看谁和谁更相关。这就是经典的注意力机制,效果好,但代价惨重。如果文本长度是N,这个比较的计算量是N的平方。文本翻一倍,计算量翻四倍。文本从4000字变成400万字,计算量直接变成一万倍。这种增长速度,谁都扛不住。
于是研究者们开始找捷径。一条路是把历史压缩成一个固定大小的"记忆包",不管文本多长,这个包的尺寸都不变。这就是循环神经网络和Mamba这类模型的思路,计算量只随文本长度线性增长,很省。但省出来的代价是,记忆包装不下太多东西,就像你用一个小本子记笔记,记到第五页就不得不把第一页的内容擦掉重写,等到真正要用的时候,很多细节已经被挤掉了。另一条路是保留全部细节,但只让每个查询去关注一小部分内容,这叫稀疏注意力。细节保住了,但怎么保证模型在没见过的超长文本上还能找到正确的那一小部分,这是个新难题。
这篇论文要解决的,正是这个两难:怎么在不爆炸的计算量下,既保住细节记忆,又能在训练时从没见过的长度上,依然精准地找到答案。
**长文本检索这件事,比想象的更难**
论文里有个细节很说明问题。研究者训练了一批模型,统一在4000个token(差不多是一篇长文章的长度)的长度上训练,然后测试它们在16000、64000甚至262000个token长度上的表现,这相当于用一页纸的训练量,去考验一本厚书的理解力。
token*:可以理解为文本被切分后的最小处理单元,大致对应一个词或词的一部分。262000个token大概相当于一部中长篇小说的篇幅。
结果很扎心。一个叫TF++的全注意力模型(也就是最标准的Transformer),在训练长度4000时准确率是95,一旦长度翻倍到8000,直接掉到0。完全失效。NSA和MoBA这两个号称能处理长文本的稀疏注意力方法,表现也不乐观,8000长度时准确率跌到个位数。这些方法在训练长度内表现正常,一旦超出训练长度,就像考试超纲了一样,彻底懵掉。
这就是论文真正想戳破的那个假设:很多人以为稀疏注意力天然就该比全注意力更能适应长文本,但实验数据告诉我们事实恰恰相反,稀疏不等于能泛化,省计算量和能不能在没见过的长度上找到答案,是两件完全不同的事。
**FreeSolo的解法:让记忆既能被压缩索引,又保留原始细节**
论文提出的方法叫FreeSolo,核心思路可以用一句话概括:把文本切成一个个小格子,每个格子存一份"摘要"用来快速定位,但真正要读取内容的时候,直接去读格子里原始的文字,不读摘要。
具体来说,FreeSolo把每32个token打包成一个"格子"(论文里叫cell)。每个格子算出两个统计量:一个是格子里所有token的平均特征(叫均值键),用来判断这个格子大概在讲什么内容;另一个是格子里最大的特征强度(叫最大范数),用来判断这个格子里是否藏着什么"重要信息"。
cell*:论文中定义的基本检索单元,由32个连续token组成,拥有自己的内容摘要和重要性评分。
这就像图书馆的索引卡片系统。你去图书馆找一本书,不会把每本书翻开读一遍,你先看索书号和摘要卡片,判断这本书可能有你要的内容,然后再去书架上把那本书整本拿出来读。如果没有索引卡片,你得把图书馆所有书都翻一遍才能找到答案,这就是全注意力的做法,耗时又耗力。而FreeSolo的格子摘要就是这张索引卡片,它不需要完整准确地复述书的内容,只需要帮你快速锁定"这几本书可能有用",然后再去读原文细节。
论文里对此有个很精妙的设计。模型在训练时会给每个格子算一个"路由分数",这个分数结合了内容匹配(query和格子均值的相似度)和一个基于位置距离的衰减因子(用erf函数实现,离得越远衰减越明显,但衰减速度被范数大小调节)。
erf*:一种数学函数,这里用来表示距离越远,相关性打分衰减得越平滑,而不是突然截断。
有意思的是,论文做了个消融实验,把这个距离衰减项整个砍掉,结果发现对单针检索任务(只找一个关键信息)几乎没影响,但对多值检索任务,一个变好一个变差。研究者的分析很诚实:这个距离项在实际运行中,99.998%的情况下根本不改变最终选中的格子,它的作用其实主要是给范数大的格子加个"奖励分",而不是真的靠距离远近来筛选。这是一种难得的坦诚,承认自己设计的某个精巧机制,在实践中大部分时候是"摆设",只在少数边界情况起作用。
**局部和远程分开处理:旋转位置编码的边界问题**
FreeSolo另一个关键设计是把注意力拆成两条分支:短程分支和长程分支。
短程分支负责处理最近512个token的局部上下文,用的是标准的RoPE位置编码。
RoPE*:Rotary Position Embedding,一种给词向量加上位置信息的技术,通过旋转向量角度来编码相对位置关系,被广泛用于主流大语言模型。
长程分支则完全不用位置编码,论文管这个叫NoPE,只用来对那些被选中的、距离较远的格子做内容检索。
NoPE*:No Position Embedding,不加任何位置编码的注意力,这里专门用于远距离检索分支。
为什么要这样拆?因为RoPE有个隐藏的坑:它编码的是"相对距离",但训练时见过的最大距离是固定的(这里是512)。如果你在推理时遇到一个从未见过的、超出训练范围的相对距离,RoPE的旋转角度会进入一个模型没学过的区间,就像你学过的三角函数表只到90度,突然让你算370度的角,公式还能套用,但结果已经不在你熟悉的范围内了,模型的表现自然会变得不可靠。
这就是为什么长文本模型一旦超出训练长度就容易崩溃的技术根源之一。FreeSolo的解法很干脆:短程部分控制在训练时见过的最大窗口内,所以永远不会遇到陌生的旋转角度;远程部分干脆不旋转,用绝对的内容匹配去检索,不依赖位置信息的泛化能力。论文测试显示,即使在训练长度的64倍(也就是256000个token)时,FreeSolo依然能准确定位到一个藏在文本深处的关键数字,相当于你在一本六十万字的书里塞了一句话,训练时模型只学过读一万字的书,结果它依然能在六十倍长的书里把那句话精确揪出来。
**两种变体:有限记忆和增长档案**
论文给出了两个具体的实现版本。
第一个叫FS-L,走的是"固定预算"路线。它在每个注意力头里,只保留64个按范数排序的高价值格子,加上8个最近的格子,剩下的全部剪掉,永不恢复。这样一来,无论文本多长,每次查询需要扫描的格子数量都是固定的,整体计算量和文本长度呈线性关系。
这里有个关键的权衡问题:剪掉的格子就是真的没了,以后哪怕出现一个和它高度相关的问题,模型也读不到。论文做了个很直白的类比实验:如果一段文本里藏着8个互相独立的小秘密,提问时随机问其中一个,FS-L在340M参数规模下的准确率只有8%左右。这就像你搬家时为了减重,提前把一半的箱子扔了,赌的是"这些箱子里的东西以后用不上",结果搬家后要用的东西,恰好有一半在被扔的箱子里。固定预算的代价,就是你必须提前猜哪些信息未来会被问到,猜错了就彻底找不回来。
第二个叫FS-B,走的是完全不同的路子:保留全部历史,一个格子都不剪,但用一种叫"平衡树搜索"的方法去加速查找过程。
具体来说,FS-B会把所有历史格子组织成两棵树(一棵保留全部格子,一棵只保留高范数格子),每棵树按照格子内容的主方向做二分,构建出一个层次结构。查询的时候,不需要和每个格子逐一比较,而是像玩"二十问"游戏一样,每一步只需要判断往左子树还是右子树找,一层一层缩小范围,最终把候选范围从几十万个格子收窄到几十个,这就是论文强调的O(N log?N)复杂度,比全注意力的平方增长要缓和得多,但比纯线性模型稍微贵一点点,计算量随文本长度增长,但增长速度被压得很低。
论文里有张图(图9)展示了这棵树是怎么一步步搭起来的:先把到来的格子按2的幂次打包成一块块(比如8个、4个、1个),每一块内部做二分建树,然后把各块的树根从最小的开始,依次合并成一棵完整的树。这个设计保证了树的构建和历史的增长是同步、增量式的,不需要每次都从头重建整棵树。
**实验结果:数字说话**
论文在340M(约3.4亿参数)和800M(约8亿参数)两个规模下做了详细对比,核心评测用的是NVIDIA开发的RULER基准,专门测试模型在长文本中找答案的能力。
在800M规模、16000长度(训练长度的4倍)的多值检索任务上,FS-L拿到81分和40分(两个子任务),对比同样走线性路线的Raven模型只有26分和0分。差距有多大?意味着FS-L在这个任务上几乎是Raven的两到三倍准确率。
走到64000长度(训练长度的16倍),FS-L依然能拿到53分和13分,而另一个对比模型NAtS-L直接归零。
FS-B的表现则更为突出。在800M规模、16000长度时,它在单针、双值、三值检索任务上分别拿到100、88、84分,整体RULER平均分达到30.4,是所有超线性复杂度模型里最高的。
单针检索这个最基础的任务上,340M规模的FS在256000长度(训练长度64倍)时依然能保持98到100分的准确率,FS-L也有84分。相比之下,Raven在131000长度时掉到20分。
表格里有个细节值得单独说一下:在下游常识问答任务(HellaSwag、PIQA等八项测试的平均分)上,FS和FS-L的分数和标准全注意力模型TF++基本在同一水平线上,差距不超过1到2分。这说明为了长文本检索能力做的这套设计,没有牺牲模型在日常语言理解上的基本功。这其实是个容易被忽视但很重要的事:很多为了长文本优化的方法,会在短文本常识任务上掉分,而FreeSolo在这方面保持得相当稳。
**用更少的训练代价适应新约束**
FS-L不是从零训练出来的,而是先训练一个完整版的FS模型(保留全部历史),再做一次短期的继续预训练(论文叫CPT),让模型适应"只能保留部分历史"这个新约束。
CPT*:Continued Pretraining,继续预训练,指在已有模型基础上,用额外数据再训练一段时间来调整模型行为,而不是完全重新训练。
这个两阶段的设计背后有个很实际的考量。论文提到,如果直接从零开始训练一个带剪枝约束的模型,340M规模的小模型还能凑合,但800M规模的模型检索能力会明显变差。而先训练一个不受限的版本,再做短期适应训练,效果明显更好。这就像先让一个人在自由环境下学会读写,再教他在信息有限的条件下做笔记整理,比直接把一个新手丢进信息受限的环境里训练,效果要好得多。先建立起扎实的基础能力,再加约束去适应,比从头就戴着镣铐学走路要稳。
论文给出的具体数字也支持这个结论:在340M规模下,直接套用剪枝规则而不做任何适应训练,单针检索准确率从100掉到62;经过CPT适应后,恢复到90分。这个恢复过程只花费了0.73B个额外token的训练量,相当于主训练量的5%左右,用很小的额外成本,挽回了大部分因为"记忆受限"而损失的能力。
**不是所有问题都能靠这套方法解决**
论文很坦诚地指出了FreeSolo,尤其是FS-L这个固定预算版本的局限。
当文本里包含多个互相独立、都有可能被问到的事实时,固定预算的剪枝策略会显著失效。论文用一个合成实验验证了这一点:在文本里塞入1个、2个、4个、8个、16个独立的"秘密数字",然后随机问其中一个。单个事实时,FS、FS-L、FS-B的准确率都能超过90%。但只要变成两个事实,所有模型的准确率立刻跳水,FS-L从90%掉到48%,FS-B从100%掉到56%,连不做任何剪枝、保留全部历史的FS和标准的全注意力模型TF++,也同样大幅下滑。
这个结果其实挺意外的。按理说FS保留了全部历史信息,不应该受剪枝问题的影响,但它照样在多事实检索上栽了跟头,错误答案里经常出现的是文本里另一个事实的数值,而不是胡编的内容。这说明问题不仅出在"记忆被剪掉了",还出在"即便记忆都在,模型也会在多个相似信息之间产生混淆"。这是一个比论文主标题更深层的问题:当信息密度足够高、且彼此独立时,无论用什么稀疏化策略,模型在训练长度附近就已经开始出现"张冠李戴"的现象,这不是长度泛化的问题,而是信息干扰的问题。
**往后看:这篇论文接上了谁的线,又会被谁接上**
FreeSolo并不是凌空出世的想法。它直接借鉴了MoBA(Mixture of Block Attention)的均值键路由思路,MoBA同样是用块的平均特征来决定该读哪些块,但FreeSolo在此基础上加了范数优先级和局部专用RoPE这两个关键改动。另一个重要参照是NSA(Native Sparse Attention),它学习压缩后的键值对来做检索,而FreeSolo选择不学压缩表征,直接复用原始token的键,用更简单的统计量(均值和范数)做路由。
论文也提到了几个和FreeSolo理念相近但技术路径不同的后续或同期工作,比如RAMba和DRT,它们都走的是"分块检索、给路由分数加梯度"的路子,让检索模块本身也能通过训练优化,而FreeSolo刻意选择了硬选择(不给路由分数梯度),把学习压力都压在共享的键值投影和局部注意力上。这是个设计哲学上的分叉:一边相信"让检索过程本身也能学习会更灵活",另一边相信"让检索规则保持简单固定,反而逼着模型学出更好用的键",两条路线各有取舍,谁更优还没有定论。
写在后面
读到那个"两个独立事实就让所有模型准确率腰斩"的实验结果时,我其实愣了一下。
论文的主标题讲的是长度外推,讲的是怎么在没见过的长度上还能找到答案,但这个多事实实验揭示的是另一个完全不同维度的脆弱性:哪怕长度根本没超出训练范围,只是信息密度稍微提高一点(从1个关键信息变成2个),所有被测试的模型,不管是线性的、稀疏的还是全注意力的,都会集体失灵。
这让我意识到,长文本能力这件事可能被过度简化成了"能不能处理更长的输入"这一个维度,但真正的难点或许藏在另一个被忽视的维度里:当有价值的信息不是孤立的一根针,而是散落在干草堆里的好几根针,而且每根针都可能被单独问到的时候,模型该怎么同时记住它们、还不互相搞混。这更像是一个"容量和区分度"的问题,记忆住了,但记混了,而不是单纯的"记不记得住"的问题。
论文没有解决这个问题,它甚至没有把这个发现放在摘要里强调,只是老老实实地在附录深处用一张表格呈现出来。但这种诚实本身很值得注意:一篇论文承认自己提出的方法在某个场景下和基线表现一样糟糕,这比把所有结果都包装成胜利,要更接近科学该有的样子。
那么问题来了:如果连全注意力模型在面对多个独立事实时都会混淆,这说明问题可能根本不在"注意力机制怎么设计",而在更底层的某个地方。会是什么呢?
Q&A
Q1:FreeSolo是什么?
A:FreeSolo是一种新型的稀疏注意力机制,专门解决长文本处理中的两难问题,既能保留原始细节记忆,又能让计算量随文本长度线性或接近线性增长,并且在没见过的超长文本上依然能准确检索出关键信息。
Q2:FreeSolo和传统的全注意力机制相比有什么优势?
A:全注意力的计算量随文本长度平方增长,训练长度之外几乎完全失效;FreeSolo则把文本切成小格子算摘要,用摘要快速定位再读原始内容,在训练长度64倍的文本上依然能准确找到关键信息,且短文本常识能力几乎不受影响。
Q3:FreeSolo有什么明显的局限性?
A:当文本里包含多个互相独立、都可能被单独提问的事实时,FreeSolo的固定预算版本(FS-L)和保留全历史的版本准确率都会大幅下降,这个问题甚至在标准全注意力模型上同样存在,说明是更深层的信息混淆问题,而非单纯的长度泛化问题。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。