微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 Transformer的每一层该读谁写的笔记?DAGFormer给出一张全局蓝图

Transformer的每一层该读谁写的笔记?DAGFormer给出一张全局蓝图

2026-11-21 09:30
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-21 09:30 • 科技行者

你有没有经历过这种小组作业的尴尬场面:六个人接力完成一份报告,第一个人写完交给第二个人,第二个人在第一个人的基础上改,再交给第三个人。到了第五个人手里,他想参考第一个人最初的想法,却只能翻出那份被改了四次的文件,原始的思路早就面目全非了。

这其实就是标准Transformer的工作方式。

Transformer是目前几乎所有大语言模型的底层架构,靠一层一层堆叠的注意力机制和前馈网络来处理文本。

每一层处理完数据后,会把结果加回一个叫做"残差流"的累加和里,下一层接着在这个累加和上继续写。问题是,这个累加和是所有层共享的唯一通道,一个在第十层的模块,如果想看看第二层最初算出了什么,它看到的早已不是第二层的原始输出,而是第三层到第九层层层叠加修改后的混合物。

这篇来自伊利诺伊大学香槟分校的论文DAGFormer,想解决的就是这个问题。它的作者提出了一个问题:能不能让每一层自己决定,它到底想读谁写的笔记,而且这个决定不是临时拍脑袋,是提前规划好的?

先搞清楚:这事到底难在哪

在DAGFormer出现之前,已经有不少研究者意识到残差流这个"共享笔记本"的局限,并且尝试了各种办法。

DenseNet是最早的尝试之一,思路很直接:干脆让每一层都能直接连到前面所有层,不用再挤在一个累加和里排队。后来的DenseFormer把这个思路搬到了Transformer上,用学到的固定权重给每层输出做加权平均。

但固定权重有个问题,它对所有输入一视同仁。一句讲数学推导的句子和一句讲历史事件的句子,可能真的需要模型调用完全不同的早期层信息,用同一套权重显然不够灵活。

于是动态路由的思路出现了。超连接(Hyper-connections)把残差流从一条拓宽成好几条并行的流,每条流之间的混合权重可以根据当前输入动态调整。mHC在此基础上加了数学约束,让这套机制在大规模训练时更稳定。MUDDFormer则更进一步,让每一层的查询、键、值、残差四种输入各自拥有专属的动态权重,这些权重由该层自己的路由器根据当前隐藏状态现算。

这些方法在实验里确实都管用,用更少的计算量达到了更低的损失。但DAGFormer的作者注意到一个共同的设计缺陷:所有这些动态方法里,路由决策都是局部的。

每一层带着自己的路由器,这个路由器只看进入这一层的隐藏状态,然后决定这一层该读什么、写到哪里去。整个模型横跨多层的连接拓扑,是一层一层临时拼凑出来的,没有任何一个模块能看到全局。

路由器*:神经网络中负责决定信息该流向哪里的子模块,通常根据输入内容动态输出一组权重。

这就好比一家公司里,每个部门主管只根据自己手头的文件决定要不要调取别的部门的资料,但没有一个总调度在开会前就把整个信息流程图画出来。结果是什么?每个主管做决策时信息总是不全的,而且事后你也没法把"这次项目到底经过了哪些部门、权重各占多少"这件事讲清楚,因为这个流程本身就没有被当作一个独立的对象存在过,它只存在于每个主管脑子里那一瞬间的判断中。如果不这样统一规划,会发生什么?论文里给出了答案:同样的训练预算下,这种局部路由的模型在不同规模上互有胜负,没有一种方法能全面领先,因为没有谁能跳出自己这一层去协调全局。

DAGFormer的思路:先画图,再施工

DAGFormer的解法听起来有点反常识:在backbone(也就是真正处理文本的那个Transformer)开始工作之前,先让一个独立的小模型,读一遍输入的词,把整个连接图规划好。

backbone*:这里指负责真正处理和生成文本的主干Transformer网络,是模型执行实际语言任务的部分。

这个负责画图的小模型叫拓扑预测器,它是一个很小的因果Transformer编码器,用自己独立初始化的256维词向量表(和backbone完全不共享)来理解输入的词,内部只有两层。它的任务不是预测下一个词,而是给backbone的每一层、每个注意力头,算出一组数值,告诉它们该用多大的权重去读取前面哪些层的输出。

这些数值被整理成四张三角形的矩阵,分别对应查询、键、值和残差连接这四类"读取动作"。打个比方,矩阵里每一行代表backbone里某一层某个注意力头的一次"读取请求",每一列代表一个可能被读取的来源,可能是词嵌入层,也可能是前面任意一层的输出。矩阵里的数值就是这次读取该给这个来源分配多少权重。

和普通注意力机制里经过softmax归一化、权重总和为1不同,这里的权重是完全自由的实数,可以是正的、负的,甚至可以用来从一个来源里减去另一个来源的信息。这意味着某一层可以说:"我要重点参考第二层,同时要把第五层的某种干扰信息减掉。"这种减法操作,在普通的注意力权重设计里是做不到的。

初始化的时候,这套系统被设计成和普通Transformer完全等价,每一层的权重都只指向它的直接前驱,相当于标准的残差连接。整个预测器和backbone是从零开始联合训练的,预测器不是事后加上去的补丁,而是和主干网络一起在语言建模这个目标下慢慢学出一张有意义的连接图。

光有这张全局蓝图还不够。预测器只能看到词本身,它完全不知道backbone在真正计算时,每一层的隐藏状态实际长什么样。于是研究者又加了一个辅助的局部微调机制:每一层会根据自己收到的输入,对预测器画好的那一行权重做一个小修正。这个修正网络一开始被初始化为零,意味着训练刚开始时它什么都不改,完全信任预测器的规划,随着训练推进才慢慢学会"纠偏"。

这里有个细节特别值得琢磨:预测器画的图是在backbone真正开始计算之前就确定的,它从不偷看backbone算出来的任何中间结果。这意味着这张图可以被单独拿出来分析、取平均、冻结、甚至在不同输入之间互换,而backbone本身完全不用变。这种"可以被单独操作的中间产物",正是后面论文做大量分析实验的基础。

这整套设计像极了一家正在装修房子的团队,在动工之前,设计师先把水电布线图完整画出来,标好每根管线从哪儿接到哪儿、粗细如何。施工队按图施工,但现场工人如果发现某个角落的实际情况和图纸有细微出入,可以做一点小范围调整,但不能推翻整张图重新设计。如果没有这张提前画好的图,每个工人只能看着自己手头这一小段墙壁决定怎么接线,最后整栋楼的电路很可能彼此矛盾,没人能说清楚电到底是怎么走的。

从75M到1B:规模效应怎么表现

研究者在Dolma这个开源语料库上,训练了从7500万参数到10亿参数共四档规模的DAGFormer和对应的标准OLMo-2 Transformer,并且严格控制了两者用相同的训练配方、数据顺序、token预算和随机种子,确保比较公平。

OLMo-2*:由艾伦人工智能研究所推出的一系列开源大语言模型,这里被用作标准Transformer的对照基础架构。

结果是,DAGFormer在WikiText-2这个经典语言建模评测集上的困惑度,比标准Transformer低了17%到25%。更直观一点说,困惑度是衡量模型预测下一个词准不准的指标,数值越低说明模型对文本的"意外程度"越小,预测越准。在10亿参数规模下,只用5B token训练的DAGFormer,表现超过了用10B token(整整两倍数据量)训练的标准Transformer。

和四个路由基线模型相比,DenseFormer、动态超连接、mHC和MUDDFormer,DAGFormer在7500万、3亿和10亿参数这三档都拿到了最低的困惑度,只有在1.5亿参数这一档,MUDDFormer略微领先0.04个点。

规模

vanilla(标准)

DenseFormer

超连接

mHC

MUDDFormer

DAGFormer

75M

4.997

5.027

4.964

4.913

4.974

4.711

150M

4.268

4.246

4.220

4.209

4.041

4.085

300M

3.808

3.745

3.692

3.652

3.649

3.544

1B(5B token)

3.569

3.513

3.492

3.438

3.423

3.307

这张表里最该注意的是最后一行:DAGFormer用5B token训练达到的3.307,比标准Transformer用10B token训练达到的3.446还要低。这不是靠砸更多数据堆出来的优势,是结构性的优势。

但这种优势不是免费的。DAGFormer的计算量是标准Transformer的1.18倍(75M档)到2.13倍(1B档),推理时每个token的处理时间大约是标准Transformer的1.5到1.9倍。这笔账要算清楚:你多花了将近一倍的计算时间,换来的是显著更低的损失,这笔交易划不划算,取决于你更在意训练效率还是最终效果。

论文还做了参数量控制实验,直接把DAGFormer多出来的那部分参数,以增加宽度或深度的方式塞给标准Transformer,看看差距是不是单纯因为参数变多了。结果发现在最小的75M规模下,额外参数能弥补70%到89%的差距,但在150M规模下只能弥补4%到42%。也就是说,规模越大,单纯堆参数越不够用,DAGFormer真正赢在结构设计本身,而不只是"模型变胖了"。

在13项常识、科学、阅读理解和数学任务的综合评测里,DAGFormer在300M和1B两个规模上都拿到了所有模型里最高的平均准确率,比标准Transformer高出2.0到2.5个百分点,比表现最好的路由基线也高出0.7到0.8个百分点。指令微调之后用AlpacaEval做对比,DAGFormer对阵标准Transformer的胜率在63%到70%之间,这意味着每10次对话里,DAGFormer的回答大约有6到7次会被判定为更好。

减肥测试:剪枝之后谁扛得住

如果DAGFormer的优势真的来自于"每个注意力头能读到更多、更丰富的早期信息"这个结构性原因,那么有一个很自然的推论:如果你强行砍掉模型的一部分,那些原本就依赖多条信息来源的头,损失应该更小,因为它们本来就有备用路线。

研究者做了这个实验,用结构化剪枝的方法,在用MathInstruct数据集微调的同时,逐步永久删除注意力头和MLP通道,用一阶泰勒重要性评分决定先删哪些单元,简单说就是优先删掉那些删了之后对输出影响最小的部分。

结果是,在六种规模加剪枝比例的组合里,DAGFormer有五种情况下损失增加得最少。砍掉一半的头和通道之后,DAGFormer的性能衰减幅度在所有规模下都小于标准Transformer和全部路由基线,甚至比没被剪枝的标准Transformer还要好或者持平。

这个结果特别像一个有很多条备用供电线路的电网。如果某个地区只接了一条主干电缆,一旦这条线路出故障,整片区域就全黑了。但如果这个地区本来就有三四条冗余线路并行供电,砍掉其中一条,电网还能靠剩下的几条撑住,不至于直接瘫痪。DAGFormer让每个注意力头天然地拥有多条可读取的信息路径,这就是为什么砍掉一部分连接之后,它受到的冲击比那种"每层只能读前一层"的单线结构要小得多。如果backbone的每一层从一开始就只能读取紧邻的前一层,剪枝一旦伤到关键的那一条路径,整个信息流就断了,没有备选方案。

值得一提的是,研究者还验证了这种优势不依赖于"剪枝过程中重新规划路由"。把预测器冻结住,不让它在剪枝微调阶段继续调整权重,结果几乎没变化。这说明优势真的来自训练阶段就已经固化下来的连接结构,而不是靠临时补救。

这张图到底是不是"每个token都不一样"

这是论文里一个挺出人意料的发现。按照动态路由的一贯逻辑,大家做这类设计的初衷通常是"不同的词应该走不同的路径",输入依赖性被当作核心卖点。但DAGFormer的分析结果显示,情况比想象中更微妙。

研究者做了一个简单的替换实验:把预测器针对每个具体token算出来的权重,换成这些权重在整段文本上的平均值,也就是说,不管输入的是哪个词,都用同一套平均权重。结果发现,在300M和1B规模上,这么做让WikiText-2上的损失只增加了最多0.005个点,几乎可以忽略不计。

但如果对局部微调模块做同样的替换(把它的输出换成平均值),损失会一下子增加0.27到0.75个点,这个幅度比DAGFormer相对标准Transformer的全部优势还要大。

这说明什么?说明预测器学到的其实更像是一张相对稳定的静态蓝图,真正逐词变化、随上下文调整的部分,主要是由那个局部微调模块在负责。而单独训练一个输入无关的权重表(没有任何词输入,从零学一套固定权重),只能恢复预测器单独效果的17%到23%,DenseFormer这种纯静态权重设计的效果也类似有限。

这里有个耐人寻味的张力:输入依赖性这件事,在"学习出一张好图"的过程中是必需的,你需要看着具体的词才能学出一张有意义的连接方式,但一旦这张图学出来之后,它在推理阶段对不同输入的敏感程度,其实没有想象中那么高。这就像一个老会计做账,刚入行时需要一笔一笔盯着每张发票判断该记在哪个科目,但干了十年之后,他脑子里已经有了一套稳定的分类直觉,大部分发票走的是同一套默认流程,真正需要他临时多想一步的,只是极少数的特殊情况。DAGFormer的预测器,某种程度上就是在训练中学会了这种"默认流程"。

这个发现也直接指向了论文一个很诚实的态度:它没有把动态路由包装成万能解药,而是老老实实地把"图是怎么学出来的"和"图在推理时怎么被用"这两件事分开讨论,这种区分本身就是一种值得学习的研究态度。

还有哪些没讲透的地方

论文的作者自己也列出了不少限制。最大的一个是规模,目前最大的模型只有10亿参数,训练用的token数量也低于这个规模通常建议的最优训练量,相比现在动辄几百亿参数的主流大模型,DAGFormer还处在验证概念是否成立的阶段,还没有被证明在更大规模下依然有效。

另外,除了300M这档规模,其他规模的训练都只跑了一次随机种子,这意味着一些较小的数值差异可能只是噪声,而不是真实的架构优势。论文里也坦诚地提到,重复300M的实验时,仅仅换一个随机种子,GSM8K任务上的结果就能波动0.08个点。

计算开销也是个绕不开的现实问题。DAGFormer训练时的计算量是标准Transformer的1.18到2.13倍,而且由于局部微调模块依赖逐token的实时修正,这意味着训练好的模型没法简化成一张固定不变的拓扑图去跑,它必须在推理时持续做这个微调计算,没法靠"提前算好图再省事地跑"这种捷径省时间。

写在后面

读完这篇论文,我印象最深的其实不是那几个百分点的性能提升,而是预测器和局部微调这两个模块分工的方式。预测器负责"稳定的大方向",微调模块负责"临时的小修正",这种分层处理的思路,和很多组织里"战略规划"与"一线执行"的分工几乎是同构的。战略层不需要知道每一个具体执行细节,它只负责把大的资源流向定下来,真正面对具体情况时的微调,交给离现场最近的那一层去做。

还有一个让我反复琢磨的细节是,研究者发现静态替换预测器输出几乎不影响效果,这个结果某种意义上削弱了"输入依赖路由"这个卖点本身的说服力,但论文没有回避这个发现,反而把它当作一个重要的分析结果专门写了一整节来讨论。这种愿意正视自己方法里"不那么性感"那部分的态度,在很多强调噱头的论文里其实并不常见。

论文最后提到一个还没打开的方向:这张预测出来的图,有没有可能真的是"人类可读"的,比如说,能不能看出模型在处理数学题和处理历史叙述时,用的是明显不同的连接模式?如果答案是肯定的,那这可能就不只是一个性能优化技巧了,而是给了我们一扇窗户,去看一眼一个语言模型内部,到底是怎么组织信息的。这扇窗户现在还只开了一条缝。

Q&A

Q1:DAGFormer是什么?

A:DAGFormer是一种改进版的Transformer语言模型架构,它用一个独立训练的拓扑预测器提前为整个模型规划好跨层连接方式,而不是像以往方法那样让每一层各自临时决定读取哪些信息。

Q2:DAGFormer相比标准Transformer效果提升有多大?

A:在7500万到10亿参数规模下,DAGFormer在WikiText-2上的困惑度比标准Transformer降低17%到25%,10亿参数版本用一半的训练数据就能超过标准Transformer用两倍数据训练的效果。

Q3:DAGFormer的计算成本高吗?

A:确实更高,训练计算量是标准Transformer的1.18到2.13倍,推理时每个token处理时间约为标准Transformer的1.5到1.9倍,这是用额外计算换取更低损失和更好剪枝鲁棒性的权衡。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-