微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 把一个14B参数的推理大模型砍掉四分之一,它还能做对AIME压轴题吗?

把一个14B参数的推理大模型砍掉四分之一,它还能做对AIME压轴题吗?

2026-11-18 20:06
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-18 20:06 • 科技行者

2025年下半年,整个大模型圈子都在琢磨同一件事:怎么把这些动辄几十上百亿参数的推理模型变瘦变快,又不伤它们的"脑子"。

听起来是个常规优化题,但真正动手之后,研究者们发现事情没那么简单。

有一类模型特别难剪枝,那就是推理语言模型(RLM)

*Reasoning Language Models:擅长通过长链条思考(chain-of-thought)解决复杂数学题、代码题的大模型,比如DeepSeek-R1、Qwen3系列*

这类模型回答一道AIME数学题,可能要生成上万个token的思考过程,一步步演算。而传统的结构化剪枝方法,也就是删掉模型里一部分计算单元让它变小变快的技术,一旦用在这些模型上,经常会导致灾难性的后果:模型不再能完整地推理完一道题,要么提前崩溃,要么陷入无意义的重复,直到把生成长度用完还没给出答案。

这篇来自首尔国立大学、纽约大学和南加州大学的论文,就是冲着这个问题去的。他们提出了一种叫LayerTrim的剪枝方法,在不做任何梯度训练、不需要额外数据微调的情况下,让剪枝后的推理模型依然能保持相当高的准确率,同时生成的内容更短、推理更快。

这事儿到底是怎么做到的,值得掰开讲讲。

剪枝这件事,为什么一到推理模型这里就翻车

先说说背景。

结构化剪枝*:一种让大模型变小的技术,核心做法是直接删除模型里的某些计算单元(比如某一层、某些注意力头、某些神经元),从而得到一个结构更简单、体积更小的"瘦身版"模型,不需要专门的稀疏计算硬件支持*

这和另一种叫"非结构化剪枝"的技术不同,后者是把权重矩阵里的某些数值直接置零,模型结构看起来没变,但内部变得稀疏,往往需要专门的稀疏计算库才能真正提速。结构化剪枝简单粗暴,砍了就是砍了,模型变成了一个更小的密集模型,普通硬件直接就能跑得更快。

过去几年,像LLM-Pruner、FLAP、ShortGPT这些方法在普通的大语言模型上效果都还不错,砍掉一部分参数,准确率掉得不算离谱。但这些方法基本都是针对"一问一答"型的模型设计的,模型吐出几十个token就完事了。

推理模型完全是另一个物种。

它们要做的事情是先在内部"思考"很久,生成一长串中间推理过程,才给出最终答案。这意味着模型的每一步生成都依赖前面所有的推理步骤,哪怕只是中间某一层的表征稍微跑偏一点,经过几千步token的累积放大,最后可能彻底跑飞。论文里引用的另一项研究发现,直接把为普通大模型设计的剪枝方法套到推理模型上,在AIME这种需要长链条推理的任务上,准确率会直接崩掉。

论文里有张图特别直观,几种现有的结构化剪枝方法:LaCo、GRASP、ShortGPT、CoCurve、FLAP、RESP,在Qwen3-14B上砍掉相当于9层解码器的参数量之后,表现分成了两类。一类是彻底失灵,准确率几乎为零,而且还在疯狂生成token,平均每道题要吐出三万多个token才停下来,模型陷入了说车轱辘话却停不下来的状态。另一类,比如RESP,还能维持一点准确率,但生成长度依然偏长,说明推理效率打了折扣。

而LayerTrim在同样的参数预算下,平均生成token数反而是所有方法里最少的,准确率却是最高的。

这就是论文想要解决的核心矛盾:剪枝必然会损伤模型的某些能力,但怎么剪,才能让损伤不要波及到"把一道题从头到尾、有条理地想清楚"这种长程推理能力。

先搞清楚哪里最不经砍

研究者没有急着提方案,而是先做了一轮诊断实验,想搞明白三件事:该砍模型的哪个部件、该砍MLP里的哪些具体神经元、以及该把砍的预算往哪些层上集中。

**第一个发现是,相比砍注意力模块或者整层整层地删,只砍MLP(也就是前馈网络)造成的表征误差最小。**

*MLP:Multi-Layer Perceptron,这里特指Transformer解码器层里负责非线性变换的前馈神经网络部分,与负责捕捉token之间关系的注意力(Attention)模块是两个不同的子模块*

研究者用Qwen3-14B在AIME推理轨迹上做了对比实验,把"删掉整个注意力模块"、"削减注意力内部宽度"、"删掉整个MLP"、"削减MLP内部宽度"、"注意力和MLP联合削减"这五种方案,在相同的参数删除量下,测量模型最终隐藏层表征和原始密集模型的差距,也就是论文里说的"final-hidden NMSE"。

结果很清楚,单纯削减MLP宽度这条路线,误差曲线一直压在最底下,比其他四种方案都低一个数量级左右。

这背后其实有迹可循。注意力模块负责的是token之间"谁该看谁"的关系建模,这是推理链条能够前后连贯的骨架。如果对它动手术,哪怕只是砍掉一部分维度,模型判断"这个结论是从前面哪一步推出来的"这种能力就可能受损,一步错,步步错,到几千个token之后误差已经滚雪球式放大了。

这就好比你在整理一个工厂的生产流水线。流水线上每个工位(注意力)负责把半成品准确传递给下一个该接手的工位,而每个工位旁边堆放的工具箱(MLP)则存放着各种型号的扳手和螺丝刀。如果你减少传递环节的准确性,工人把零件传错了地方,后面所有工序都会跟着出错,而且越到后面错得越离谱。但如果你只是把工具箱里重复、很少用到的工具清理掉一部分,只要常用的扳手还在,流水线该怎么运转还怎么运转,顶多某个小众零件偶尔要多找一下工具。保留传递链条的完整性,精简存货,这就是为什么MLP削减伤害最小的直觉。

**第二个发现是,MLP内部的神经元重要性高度集中。**

研究者把每个MLP特征对输出的贡献量化成一个重要性分数,发现只要保留重要性排名前38.2%的神经元,就能覆盖掉总重要性的89.4%。

这意味着MLP里绝大多数神经元其实是"打酱油"的,真正扛事儿的是一小撮核心特征。这个发现直接决定了后续方案:削减宽度时不能瞎砍,得精准识别出哪些神经元是真正重要的留下来。

**第三个发现,是砍的预算该往哪儿分配。**

研究者比较了三种策略:随机挑14层来砍、把预算平摊到全部40层上、以及用一种叫Block Influence的指标挑出最不重要的14层集中砍。结果显示,集中砍掉由Block Influence识别出的冗余层,造成的表征误差明显低于另外两种策略。

Block Influence*:一种衡量Transformer某一层"存在感"的指标,通过比较这一层输入和输出的方向相似度(余弦相似度)来判断,如果输入输出几乎没变,说明这一层改变信息的作用很小,可以认为是冗余的*

这个结论的含义是,层与层之间天生就不是平等的,有些层像是在例行公事地把信息原样传过去,有些层才是真正在做关键的信息加工。

LayerTrim到底怎么干活

基于上面三条发现,LayerTrim的设计思路变得清晰起来:保留全部的注意力模块和解码器层数不动,只在MLP上做文章,而且要在"挑哪些层的MLP动手"和"MLP里留哪些神经元"这两件事上都做到精准。

整个流程分五步,论文里管它叫"reasoning-trace calibration"到"compressed model"的五阶段流水线。

**第一步是用真实的推理轨迹做校准。**

具体做法是拿原始的密集模型,针对AIME 2024的题目生成24条完整的推理轨迹,然后让模型重新"过"一遍这些轨迹,记录下每一层的输入输出,以及MLP内部每个神经元的激活情况。整个过程不需要计算梯度,纯粹是统计数据收集。

这里有个很朴素但重要的设计选择,校准数据必须是模型自己生成的推理过程,而不是随便找一些维基百科文本。论文在附录里专门做了对比实验,用维基百科文本做校准,AIME25和GPQA-Diamond两个基准的平均准确率只有10.0%,而用AIME推理轨迹做校准,能达到57.1%,差了接近五倍。原因不难理解,你要了解一个模型在长链条推理时哪些层、哪些神经元在真正起作用,就得看它实际在推理时的样子,而不是看它读新闻时的样子。这就像你想知道一个员工在处理紧急客户投诉时依赖哪些同事的协助,你得观察他真实处理投诉的过程,而不是看他平时喝咖啡聊天时跟谁说话多。

**第二步是挑选要动手术的层。**

用前面提到的Block Influence指标,给40层decoder都打分,分数低的说明这一层对信息改变得少,相对冗余。假设预算相当于N层的参数量,LayerTrim会选出2N个BI值最低的层,只对这些层的MLP动刀,而不是把预算摊薄到所有层。

**第三步是在选定的每个MLP里,给神经元排重要性。**

这一步用到了前面提过的特征重要性分数,本质上是衡量每个神经元对MLP最终输出贡献的期望平方范数。分数越高说明这个神经元在真实推理过程中越活跃、影响越大,排序之后保留分数最高的一批,砍掉剩下的。

这里有个工程上的巧思,为了减少计算开销,论文没有去精确计算"去掉这批神经元之后输出会变化多少"(这涉及神经元两两之间的交叉项,计算量很大),而是直接把被删神经元的重要性分数简单加总,用这个近似值来指导筛选。论文验证了这个近似和真实的输出变化量之间的斯皮尔曼等级相关系数达到0.999,几乎完美对齐,但计算速度快了13.2倍。这说明很多时候工程上的"够用就好"比追求数学上的绝对精确更划算,用20%的计算成本拿到99%的效果,这笔账怎么算都划算。

**第四步是真刀真枪地做物理删除。**

对于被选中要瘦身的每个MLP,保留重要神经元对应的那些权重行和列,宽度从原来的I直接变成了m,这是一个真实的、物理上更小的矩阵,不是打了个掩码假装瘦身。这意味着剪枝完成后的模型可以直接部署,不需要任何推理期间的特殊处理。

**第五步,输出一个压缩后的模型,注意力模块、未被选中的MLP、以及整体的层数,全都原封不动。**

只有被选中的那些层的MLP内部宽度变窄了。

这个设计思路可以用一个外科手术团队来打比方。假如你面对的是一个因为代谢紊乱需要减重的病人,激进的方案是直接截掉一部分器官,立竿见影但风险极高,可能连带损伤重要功能。保守一点的方案是在全身均匀地做脂肪抽吸,看起来温和,但抽脂的部位没有针对性,效果有限还可能伤及周边组织。LayerTrim采取的策略更像是先做全身检查(校准),确认哪几个部位脂肪堆积最严重且功能冗余最高(Block Influence选层),再精确地只在这几个部位做抽脂,而且抽脂时还要先确认哪些脂肪细胞附近有重要血管神经(特征重要性排序),避开它们。手术方案更复杂,但病人恢复后基本功能不受影响。如果图省事直接截肢(整层删除)或者全身乱抽(联合削减注意力和MLP),病人倒是瘦下来了,但很可能从此丧失某些关键能力,这正是GRASP、LaCo这些方法在推理任务上准确率归零的写照。

实测效果:数字说话

论文在三个推理模型(Qwen3-14B、Phi-4-reasoning-plus、Magistral-Small-2506)和五个基准测试(AIME2025、AIME2026、GPQA-Diamond、HumanEval、MBPP+)上做了全面对比。

在参数预算相当于砍掉9层的设置下,Qwen3-14B上LayerTrim的平均准确率是65.1%,而原始密集模型是76.7%,保留了约85%的性能。相比之下,表现次好的RESP只有58.3%,差了近7个百分点。更极端的对比是ShortGPT、LaCo、GRASP这三个针对整层删除的方法,准确率几乎全部跌到0附近,相当于模型已经不会做题了。

在Phi-4-reasoning-plus上这个差距更悬殊,同样的9层预算设置下,LayerTrim平均准确率48.9%,第二名RESP只有34.6%,差了14.3个百分点。到了Magistral-Small-2506上,差距进一步拉大到21.4个百分点,LayerTrim是45.7%,RESP只有24.3%。

**而且这个优势不只体现在数学题上。**

虽然校准数据只用了AIME 2024的推理轨迹,但LayerTrim在科学问答GPQA-Diamond上相比最强基线领先最多20.2个百分点,在代码生成HumanEval上领先48.4个百分点,MBPP+上领先35.0个百分点。

这说明一件挺有意思的事:模型里负责长链条逻辑推理的那套"骨架"是通用的,不管你是在算微积分还是在写Python函数,调用的底层能力有重叠。保护好这套骨架,受益的不只是校准时用的那个任务类型。

效率方面的数字也很扎实。在Qwen3-14B上,9层预算设置下,LayerTrim相比原始密集模型实现了1.24倍的prefill加速、1.21倍的解码加速,峰值显存降低了19.7%。校准准备阶段只需要27.9秒,而RESP在同等预算下需要3898.1秒,慢了140倍。

为什么生成的内容反而更短了

一个挺耐人寻味的现象是,LayerTrim剪枝后的模型,不仅准确率更高,生成的平均token数也是所有方法中最短的。

论文做了细致的定量分析去解释这个现象。在GPQA-Diamond上用Phi-4-reasoning-plus测试,他们统计了两类失败模式:一类是生成内容撞到了32K的token上限被强制截断,另一类是陷入了"强重复",也就是连续两段512个token的窗口里,重复的词组比例超过80%。

FLAP这个方法,70.2%的回答撞到了token上限,49.2%出现了强重复,意味着模型大概率陷入了一种"卡住了但还在硬凑字数"的状态。而LayerTrim这两个数字分别只有24.4%和21.9%。

论文里还有个很有意思的细节,LaCo这个方法虽然100%的回答都撞到了token上限,但检测出的"强重复"比例却是0%。研究者去看了实际的生成内容,发现LaCo的输出变成了完全无法理解的碎片化token,夹杂着中英文混杂的乱码,根本不构成连贯的重复句式,所以没有被那个基于8-gram重复率的检测标准识别出来。这其实是个更糟糕的情况,不是卡在原地重复,而是彻底语无伦次了。

研究者还做了注意力层面的诊断。他们测量了剪枝后模型和原始模型的注意力分布差异,发现在所有测试的参数预算下,只削减MLP的方案,注意力KL散度始终是最低的。更进一步,他们统计了每个query token原本最关注的8个token,看剪枝后模型是否还关注同一批token,结果显示MLP削减方案在各个距离区间(从最近的1到64个token,一直到最远的16K到32K)的重叠率都是最高的,尤其是在长距离区间依然能保持相对高的重叠。

这解释了为什么LayerTrim不容易陷入重复或者跑题,模型依然能"记得"几千个token之前它写过什么、推导到了哪一步,而不是像被削弱了注意力的模型那样,渐渐"失忆",只能靠局部的语言惯性去硬凑后面的文字,最终陷入车轱辘话或者彻底语无伦次。

论文附录里还给了一些具体的例子对比,相当有说服力。在一道关于电子自旋期望值的物理题上,RESP版本的模型中途写着写着突然开始疯狂重复"spin spin spin spin"直到把32256个token的上限用完,而LayerTrim版本只用了1253个token就完整正确地算出了答案。在一道关于因数计数的数论题上,CoCurve在中间算错了一步减法(1458减1000算成了558),而LayerTrim版本则在算完之后主动做了一次复核计算,验证了自己的结果没错。

这种主动复核的行为挺值得琢磨的。它不是被设计进去的功能,而是在保留了关键推理能力之后,模型原本就具备的自我纠错习惯被保留了下来。

消融实验:每个设计选择都站得住脚

论文做了相当细致的消融实验,逐一验证前面提到的每个设计决策是否真的必要。

在剪枝目标的选择上,纯MLP削减方案的平均准确率是58.8%,而联合削减注意力和MLP(25%预算分给注意力)只有48.3%,注意力相关的方案(删除或削减)几乎都在1以下。这再次印证了保留注意力完整性的重要性。

在特征重要性评分方式上,论文对比了四种打分标准:只看激活值方差、只看权重范数、FLAP原本用的方差乘权重范数、以及LayerTrim自己的"激活平方期望乘权重范数平方"。结果显示只用权重范数打分效果最差,平均只有31.7%,说明光看权重大小是不够的,必须结合这个神经元在真实推理场景下到底有没有被激活、激活得有多强烈。LayerTrim的方案拿到了57.1%,是四种里最高的。

在层选择策略上,用完整的Block Influence(衡量整个decoder block输入输出的变化)比只用MLP内部的BI(只看MLP更新前后残差流的变化)效果更好,前者57.1%,后者54.0%。这说明判断一层是否冗余,得看它对整体信息流的改变程度,而不能只孤立地看MLP这一个子模块的变化。

至于该选多少层集中削减,论文测试了1.5N、2N、3N三种倍数,2N在两个基准上取得了最均衡的平均表现,不算哪个单项最优,但综合最稳。

写在后面

读完这篇论文,有一个点让我反复琢磨:论文里反复强调的那个数字,38.2%的特征贡献了89.4%的重要性,其实是个相当经典的幂律分布现象。这种"二八定律"式的结构在很多系统里都会自然涌现,神经网络的内部表征居然也不例外,这说明大模型在训练过程中,哪怕没有人去刻意约束它变得稀疏,它自己也会演化出一种高度不均匀的资源分配方式,少数神经元扛起大头,多数神经元处于半冗余状态。这某种程度上也解释了为什么剪枝这件事在原理上是可行的,模型内部本来就存在大量的"富余产能"。

另一个让我印象深刻的细节是论文对失败案例的分类诊断做得极其细致,不是简单报告一个准确率数字就完事,而是专门去统计"撞上token上限的比例"和"陷入强重复的比例"这两个独立指标,还发现了LaCo那种"撞上限但不重复,因为已经语无伦次"的特殊情况。这种对失败模式的精细拆解,比单纯报告一个平均分数提供的信息量大得多,它告诉你模型到底是"卡壳了"还是"疯了",这两种失败对工程落地的含义完全不同。

论文也留了一些没填的坑,比如校准和层分配预算目前都是固定的,没有针对不同模型、不同任务类型做自适应调整。如果未来能让系统自己判断该在哪些层投入更多的保留预算,这件事会不会变得更智能一点,这是个值得继续追问的方向。

一个14B参数的模型,砍掉差不多四分之一的体积之后,依然能在没见过的编程题和物理题上保持八成以上的原有水平,而且回答变得更简洁、更少胡言乱语。这多少说明一件事,这些大模型内部藏着的冗余,可能比我们想象中还要多,关键只是看你有没有找到那把恰到好处的手术刀。

Q&A

Q1:LayerTrim是什么?

A:LayerTrim是一种训练免费的结构化剪枝方法,专门用于压缩推理语言模型。它只削减解码器层中MLP(前馈网络)的宽度,同时完整保留注意力模块和原有的层数,从而在模型变小变快的同时尽可能保住长链条推理能力。

Q2:LayerTrim和其他剪枝方法相比效果怎么样?

A:在Qwen3-14B、Phi-4-reasoning-plus、Magistral-Small-2506三个模型和五个基准测试中,LayerTrim平均准确率全面领先,最多比次优方法RESP高出21.4个百分点,同时生成的回答更短、显存占用降低约20%、推理速度提升约1.2倍以上。

Q3:为什么剪枝后的模型容易陷入重复或者答不完题?

A:论文发现,削减注意力模块或整层删除会破坏模型跟踪长距离推理上下文的能力,导致模型在生成几千个token后逐渐"失忆",陷入重复或语无伦次。而只削减MLP宽度、保留注意力完整性,能让模型维持对早期推理步骤的关注,从而更少出现这类失败。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-