微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 当数学家遇上大语言模型:一场跨越半个世纪的学科对话

当数学家遇上大语言模型:一场跨越半个世纪的学科对话

2026-11-03 15:16
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-03 15:16 • 科技行者

1965年,摩尔提出了他那条著名的定律:芯片上的晶体管数量每两年翻一番。这条规律统治了半导体行业将近六十年,直到最近几年,物理极限开始显现疲态。

但你可能没想过,就在芯片产业开始放缓脚步的同时,另一个领域正在以远超摩尔定律的速度狂奔。

研究者统计了GPT系列模型的参数量变化:GPT-1是1.77亿参数,GPT-2是15亿,GPT-3是1750亿,到GPT-4估计已经是1.7万亿。按这个速度换算,大语言模型的参数量大约每4.6个月翻一番,这意味着每15个月就能增长10倍,比摩尔定律快了整整一个数量级。

这组数字出自一篇名为《大语言模型的数值线性代数》的综述论文,作者是卡塔尔计算研究院的阿卜杜勒卡德尔·巴格格和明尼苏达大学的优素福·萨德。这篇文章想解决一个颇为现实的问题:当AI浪潮以如此疯狂的速度席卷科学界,那些研究了几十年矩阵和向量的数值线性代数专家,该如何自处?

数值线性代数的前世今生

要理解这篇论文的问题意识,得先回到上世纪五六十年代。

那时候航空航天工业正在腾飞,工程师们需要求解各种特征值问题,这催生了LR算法和QR算法这些至今仍在教科书里出现的经典方法。后来研究重心转向稀疏线性系统的求解,同样是为了应对计算空气动力学之类的应用场景。

每一次科学浪潮,数值线性代数都在幕后提供关键的计算工具。而这一次,轮到机器学习了。

论文作者观察到一个有意思的现象:大语言模型几乎完全建立在矩阵和张量运算之上。反向传播*这个训练神经网络的核心技术,本质上就是一连串的矩阵乘法。

反向传播:一种通过链式法则从输出层往输入层逐层计算梯度的算法,是训练深度神经网络的核心技术,由鲁梅尔哈特等人在1986年系统化提出

低秩近似*被用来压缩模型、加速训练。连Transformer里最核心的注意力机制,拆开来看也是矩阵运算的堆叠。

低秩近似:用一个秩更低(可以理解为"信息维度更少")的矩阵去逼近原始矩阵,从而减少参数数量和计算量的技术

但这里有个微妙的张力。一方面,数值线性代数工具对AI的发展贡献巨大;另一方面,这个领域本身的文化和AI研究圈子差异很大。AI研究发表节奏极快,社区庞大且多元,涵盖信息论、图方法、神经网络算法等众多分支。相比之下,传统数值分析的研究节奏要慢得多,圈子也小得多。

这就好比一个精通传统木工手艺的老师傅,忽然发现自己几十年磨练出的榫卯技巧,正在被一家全自动化家具工厂大规模使用,但工厂里的工程师们说着他完全陌生的行话,开会节奏快得让他跟不上。如果他选择继续闭门造车只做手工家具,他的技艺会渐渐变得无人问津;但如果他想加入工厂,又得先弄懂那套全新的生产语言。这正是数值线性代数学者此刻面临的处境。

从感知机到Transformer:一条被低估的历史线索

论文花了相当篇幅梳理AI的发展脉络,这部分内容虽然是背景介绍,但其中藏着不少值得玩味的细节。

神经网络的概念诞生于1950年代末,罗森布拉特提出的感知机是最早的雏形。但真正的基础性工作要等到1990年代才陆续展开。有意思的是,早期大家就已经意识到这条路可能走得通,但训练成本太高是个硬伤。

转折点出现在2010年前后。图形处理器(GPU)原本是为了游戏和高端图形设计的廉价硬件,却意外地成为了神经网络训练的加速引擎。这种硬件用途的"跨界"颇有戏剧性,没人设计GPU的时候想着它会用来训练神经网络,但结果却是GPU的并行计算能力恰好完美契合了矩阵运算的需求。

与此同时,深度神经网络(DNN)概念兴起,通过堆叠更多隐藏层来学习层次化特征。2017年,Transformer架构横空出世,那篇论文的标题"Attention is All You Need"(注意力就是你所需要的一切)带着一股挑衅意味,后来证明这个标题起得名副其实。

论文作者还做了一个大胆推测:按照Leopold Aschenbrenner在2024年文章《情境意识》里的说法,从GPT-2到GPT-4这四年间(2019到2023),模型能力实现了从学前儿童到聪明高中生水平的跃迁,背后是六个数量级的综合提升(算力、算法效率、以及作者所说的"去桎梏"因素)。如果同样的提升幅度在2023到2027年间重演,那么到2027年前后,我们或许会见证另一次同等量级的质变。这是一个颇具争议的预测,论文作者也明确说这只是"关于扩展趋势的示意性论证,不是精确的预测模型"。

但紧接着论文给出了一个冷静的反转:模型参数量的增长其实已经开始触及数据墙的限制。因为参数规模某种程度上受限于训练语料的体量,而高质量文本数据本身是有限的。换句话说,单纯堆参数这条路,可能快走到头了。

深度学习的三大基石,以及数值线性代数的位置

论文提出了一个框架,认为深度学习的进步来自三股力量的汇合:硬件的改善、数据的可得性、方法与算法的进步。

在"方法与算法"这一类里,优化技术和统计学是两个显而易见的支柱,但论文特别强调,数值线性代数是同样重要却常被忽视的第三根支柱。

这里有个细节值得展开说说。训练一个神经网络本质上是在用数据去逼近一个函数。拿最简单的多层感知机(MLP)举例,输入是一个向量,经过一系列"线性变换加非线性激活"的操作,最终输出分类结果。

多层感知机(MLP):由输入层、若干隐藏层和输出层组成的最基础神经网络结构,每层通过权重矩阵和激活函数将上一层的输出转换为新的表示

这个过程写成公式就是,每一层把输入向量乘以一个权重矩阵,加上偏置项,再通过一个叫做激活函数*的非线性映射。

激活函数:给线性变换的结果加上非线性"拐点"的函数,比如ReLU(取输入和0的较大值)、Sigmoid、GELU等,没有它神经网络再深也只是一个线性变换

论文举了个具体例子:假设处理20x20像素的手写数字图片,有一个隐藏层含100个神经元,那么从输入层到隐藏层的权重矩阵是400乘100,意味着4万个参数;隐藏层内部的变换又是100乘100,再加1万个参数;最后到输出层的10个类别,又是1000个参数。总共5万多个参数,这还只是一个极其简单的玩具模型。

想象一下你要给一万个朋友每人写一封定制化的信,如果每封信都要从零开始构思措辞,工作量会大到崩溃。但如果你先设计好几种"信件模板",根据对方的身份灵活组合段落,工作量会骤降。神经网络的分层结构干的就是类似的事情:它不是用一个巨大无比的函数直接硬算出答案,而是把计算拆分成一层层简单的线性加非线性变换,层层叠加后就能逼近任意复杂的函数。如果不这样分层,而是试图用单一的线性函数直接拟合所有复杂模式,哪怕参数再多也无法捕捉非线性关系,这也是论文提到的"通用表示定理"想要证明的核心问题:只要激活函数满足一定条件(比如是"判别性"的),这种分层组合就能以任意精度逼近任何连续函数。

训练这团参数的过程依赖反向传播,而反向传播的计算核心就是矩阵乘法的链式求导。论文花了大量篇幅,用一个简单的计算图例子说明反向传播如何沿着图的拓扑顺序,从输出倒推回输入,逐层计算梯度。这个过程涉及雅可比矩阵、梯度向量的连乘,本质上和经典数值分析里的自动微分是同一套数学。

Transformer拆解:注意力机制究竟在算什么

如果说前面的内容是铺垫,那么论文真正的重头戏是对Transformer架构的逐层拆解,这也是全文篇幅最长、细节最密的部分。

先从最基础的问题说起:语言模型到底在干什么。简单说,它的任务是给定前面已经出现的词,预测下一个词是什么。用数学语言描述,就是估计一个条件概率分布。

这里有个关键的区分,论文反复强调:训练和推理是两种完全不同的计算模式。训练的时候,整句话已经全部给定,模型可以用因果掩码*的技巧并行处理所有位置的预测任务;但推理(也就是生成文本)的时候,未来的词还不存在,模型只能一个词一个词地往外吐,每吐出一个词就要把它接回输入继续往下算。

因果掩码:在注意力计算中,强制让每个位置只能"看到"它之前的词,无法窥视未来,通过把未来位置的注意力分数设为负无穷来实现

这个设计思路其实很好理解。打个比方,训练时就像老师批改一整篇作文,可以同时看到开头结尾打分;但写作文(推理)的时候,作者只能写一个字看一个字,没法先偷看自己还没写出来的结尾。如果不加这个掩码限制,训练阶段模型就能"作弊"偷看后面的答案,那训练出来的模型在真实推理场景里根本不会写字,因为它在训练时从未真正学会"只凭已有信息做预测"这件事。这正是Transformer能够又快又稳地训练、同时又能逐词生成的关键机制。

接下来是整个Transformer架构的灵魂:自注意力机制*。

自注意力机制:让序列中每个位置都能"关注"其他所有位置、并根据相关性加权整合信息的计算方式,是Transformer替代循环神经网络的核心创新

论文把这个过程拆得极细。每个词先被映射成三个向量:查询(Query)、键(Key)、值(Value)。这三个名字其实来自数据库检索的类比:你拿着一个查询去跟一堆键做匹配,匹配度越高的键,对应的值就被赋予越大的权重。

把查询矩阵和键矩阵做内积,再除以一个缩放因子,得到的是一个分数矩阵。这个分数矩阵经过逐行的softmax*归一化后,变成一个每行加和为1的概率矩阵,这就是注意力权重。拿这个权重矩阵去乘以值矩阵,就得到了每个位置的新表示,本质上是对所有位置的值向量做了一次加权平均。

softmax:把一组任意实数转换成概率分布(每个数变成0到1之间、且总和为1)的函数,常用于分类问题的最后一层

论文用了一个特别生动的类比来解释这件事:想象你有一堆噪声很大的训练数据点,想估计某个新查询点的函数值。最笨的办法是找到离查询点最近的那一个训练点,直接把它的值拿来用。更聪明的办法是对所有训练点做加权平均,离查询点越近的训练点权重越大。这正是统计学里经典的Nadaraya-Watson核回归,而注意力机制本质上就是这套核回归的高维版本。

这个类比非常关键,因为它揭示了注意力机制为什么有效:它不是在做什么神秘的"理解",而是在做一种基于相似度的加权插值。如果不用这种加权方式,而是粗暴地只取"最相似"的那一个词的信息,模型会对噪声极度敏感,一旦最相似的词恰好是个异常值,整个预测就会跑偏。加权平均的好处在于,哪怕个别相似度判断有误差,整体结果依然相对稳健。

论文给出了一个实验对比:用这种注意力式的加权回归去拟合一条周期震荡的曲线,效果比传统的三次多项式拟合好得多。因为多项式的形状是固定的,没法灵活适应周期性的波动,而注意力机制完全由数据本身决定权重分配,天然更灵活。

多头注意力与位置编码:给模型装上不同的"眼睛"

单一的注意力头有个局限,就是它只能学到一种关注模式。但现实中的语言关系是多样的:有的词需要关注语法结构,有的需要捕捉长距离的语义呼应,单靠一组查询键值映射很难同时兼顾。

于是就有了多头注意力*:把输入投影到多个不同的子空间里,每个子空间独立计算一次注意力,最后把所有头的结果拼接起来,再做一次线性变换映射回原来的维度。

多头注意力:将注意力计算拆分成多个并行的"头",每个头在不同的投影子空间里独立捕捉词与词之间的关系,最后合并结果

这就好比一个案件需要多位侦探同时调查:一位专注分析指纹,一位专注查看监控录像,一位专注走访证人。如果只派一位侦探单打独斗,他可能在某个线索上纠结太久而错过了其他关键信息。多头注意力就是让"多位侦探"并行工作,每个人负责一种关系模式,最后汇总所有线索再做判断。如果强行只用一个头,模型要在语法结构、语义关联、位置关系等各种信息之间做取舍,最终学到的表示能力会大打折扣。

另一个容易被忽视但极其重要的问题是:注意力机制本身对词语的顺序是不敏感的。如果你把一句话的词打乱顺序输入,注意力计算的结果也会跟着打乱,但这并不意味着模型"理解"了语序的重要性,因为它压根没有机制去感知"谁在前谁在后"。

这就需要位置编码*来补救。

位置编码:给序列中的每个位置附加一个独特的向量标记,让模型能够区分"这个词是第几个",常见方式包括正弦余弦函数编码和旋转位置编码

原始Transformer论文用的是正弦余弦函数构造的位置编码,不同维度上用不同频率的正弦余弦波来标记位置,这样相近位置的编码会比较接近,远离的位置编码差异更大。后来又发展出相对位置编码和旋转位置编码(RoPE)等变体,核心思路都是想办法让模型"感知"到词语之间的相对距离和顺序关系。

如果没有位置编码,Transformer处理"猫追狗"和"狗追猫"这两句话时,由于词的集合完全相同只是顺序不同,模型会把它们当成等价的输入,这显然会导致语义理解的灾难性错误。

残差流与层归一化:深层网络为什么能训练得动

Transformer的另一个核心设计是残差连接*和层归一化*的组合,这是让几十层甚至上百层的深层网络能够稳定训练的关键。

残差连接:让每一层的输出等于"输入本身"加上"这一层学到的修正量",而不是完全重新计算一个新的表示,这样可以让梯度更容易地在深层网络中传播

层归一化:对每个词的特征向量做标准化处理,减去均值再除以标准差,避免数值在层层传递中变得过大或过小

论文把这个设计类比为"身份加修正"的结构:模型不是每一层都把信息推倒重来,而是保留一条畅通的"主干道",每一层只往上面叠加一点新的信息。

这个思路的精妙之处在于,残差流(也就是不断累积信息的那条主干状态)就像是一本不断被翻阅和续写的笔记本。每翻过一层,笔记本上不会被擦掉重写,而是在原有内容基础上再补充几行新笔记。如果没有这条残差通路,网络每一层都要完全推翻之前的表示重新计算,深层网络很容易在反复的非线性变换中丢失早期层学到的有用信息,训练也会因为梯度在传播过程中逐渐消失或爆炸而变得异常困难。

论文还详细对比了Pre-LayerNorm(先归一化再计算)和Post-LayerNorm(先计算再归一化)两种变体,指出现代大模型普遍倾向于使用Pre-LayerNorm,因为它能让残差分支保持一条完全畅通的恒等路径,这对深层网络的优化稳定性至关重要。

混合专家模型:让计算量和参数量脱钩

论文后半部分讨论了一个近年来备受关注的架构创新,混合专家模型(MoE)*。

混合专家模型:用多个独立的"专家"网络替代单一的前馈网络层,每次只激活其中一小部分专家来处理输入,从而在扩大总参数量的同时控制实际计算成本

这个设计的出发点很直接:在标准Transformer里,每一层的前馈网络(也就是处理每个词特征的那部分)对所有词都是同一套参数,计算量随模型规模线性增长。但混合专家模型把这个前馈层换成了一组"专家",每次只挑选其中少数几个专家来处理当前的词,由一个"路由器"来决定派哪些专家上场。

这就像一家大型医院,不是让每个病人都看遍所有科室的医生,而是设置一个分诊台,根据病人的症状只安排他去两三个相关科室就诊。医院可以拥有上百个科室(总参数量巨大),但每个病人实际只需要消耗两三个科室的资源(实际计算量很小)。如果不做这种路由分流,让所有病人都走完所有科室的流程,医院的接诊能力会被严重拖慢,这正是稠密模型在扩大规模时会遇到的计算瓶颈。

论文提到了几个具体的例子:Switch Transformer采用最简单的"选一个专家"策略;Mixtral 8x7B每层设置8个专家,每次激活2个;OpenAI的gpt-oss系列也采用了类似的稀疏路由设计。但这种设计也带来新问题,就是路由器可能把过多的词分配给少数几个专家,导致负载不均衡,这需要额外的辅助损失函数来约束。

低秩适配:用一个小补丁微调一个巨型模型

接下来这部分内容我觉得特别值得展开讲讲,因为它直接体现了数值线性代数如何实实在在地改变了AI工程实践,而不只是停留在理论层面。

论文提到,研究者在分析深度神经网络的参数和训练过程中用到的海森矩阵*时,发现了一个有意思的现象:这些矩阵的大部分特征值都聚集在接近零的地方,只有少数几个"离群值"远离这个聚集区。

海森矩阵:由损失函数对参数的二阶偏导数组成的矩阵,描述了损失函数曲面的弯曲程度,是二阶优化方法的核心工具

这意味着,尽管模型的参数量极其庞大,但真正"有效"的参数维度其实很小,接近收敛点的时候尤其明显。论文把这个现象称为"简约定律",层数越深、参数越多的模型,反而表现出越低维的有效参数空间。

这个发现催生了一个在工程上极具影响力的方法,叫做LoRA(低秩适配)*。

LoRA:在微调预训练模型时,冻结原始权重矩阵不动,只训练两个远小于原矩阵的低秩矩阵相乘得到的增量,从而大幅降低微调所需的参数量

LoRA的思路可以这样理解:假设你有一座已经建好的摩天大楼(预训练模型),现在想根据新的需求做一些局部改造,而不是把整栋楼推倒重建。传统的微调方式相当于把整栋楼的所有承重墙都重新浇筑一遍,耗时耗力还可能破坏原有结构;而LoRA的做法是只在需要改动的地方加装一个轻量级的"外挂结构",这个外挂结构用两个很小的矩阵相乘构成,主体建筑完全不动。

论文给出的数字相当震撼:用LoRA微调GPT-3时,需要训练的参数量从1750亿骤降到1700万,相当于节省了一万倍。如果不用这种低秩分解的技巧,而是坚持对全部1750亿参数做梯度更新,每次微调的存储和计算成本都会高到让大多数研究团队望而却步,这也是为什么LoRA一经提出就迅速成为业界标配的核心原因。

高维几何与超位置:一个空间如何装下无穷多的概念

论文还讨论了一个相当烧脑但很有启发性的话题,叫做"超位置"*(superposition),这涉及高维空间的几何直觉。

超位置:在高维向量空间中,模型通过让多个概念共享近似正交(接近垂直但不完全垂直)的方向,在有限维度里编码远超维度数量的特征

直觉上,一个d维空间里最多能放d个完全垂直(正交)的方向。但论文援引约翰逊-林登斯特劳斯引理*指出,如果允许方向之间存在一点点微小的偏差(不要求绝对垂直,只要求"足够接近垂直"),那么能够容纳的方向数量会呈指数级增长。

约翰逊-林登斯特劳斯引理:数学上证明了高维空间中的点集可以被投影到一个低得多的子空间,同时保持点与点之间的相对距离基本不变

论文举了个具体的例子:在GPT-3使用的12288维空间里,如果允许方向之间偏离90度不超过1度(也就是夹角在89度到91度之间都算"近似正交"),那么能容纳的近似正交方向数量可以达到数十亿量级,远远超过维度数本身。

这就好比一个只有几百个储物格的仓库,如果严格要求每件物品单独占一格,顶多存几百件东西。但如果允许相近的物品可以"挤"在同一格的不同角落(只要不完全重叠),这个仓库实际能存放的物品种类会远远超过格子数量。这正是大语言模型能用有限的维度编码海量概念的几何基础:它不是给每个概念分配一根独立坐标轴,而是让许多概念共享一套互相"近似独立"的方向系统。如果模型被迫严格要求所有特征方向两两垂直,那么能表达的独立概念数量会被维度数硬性卡死,这将极大限制模型的表达能力。

论文还讨论了"内在维度"*的概念,引用了一系列实证研究的结果。

内在维度:完成某个任务所需的最小参数或潜在方向数量,用来衡量模型学到的表示或更新实际占据的有效维度

比如有研究发现,RoBERTa模型在仅优化200个随机选定维度的子空间时,依然能保留超过90%的完整微调性能;另有研究显示,控制语言模型输出的核心信息可能只需要384个维度。这些发现进一步印证了前面提到的"简约定律":看似庞大的参数空间,实际承载有效信息的维度远比表面数字要小。

高级优化算法:从自然梯度到Muon

论文最后一部分转向了优化算法的讨论,这部分内容技术密度很高,但核心逻辑其实可以用一个简单的问题串起来:标准的梯度下降方法为什么有时候表现糟糕,更高级的方法又是如何改进的。

标准梯度下降的问题在于,它默认参数空间里"每个方向的单位距离都是等价的",用的是欧几里得度量。但论文通过阿马里提出的自然梯度*概念指出,这个假设在很多情况下并不成立。

自然梯度:用黎曼度量(一种考虑了参数空间内在几何结构的距离度量)替代标准欧几里得距离来定义梯度方向的优化方法,由甘利俊一在1998年提出

论文给了一个二维示例,一个参数化不良的高斯分布问题,标准梯度下降在某个方向上几乎停滞不前,要经过上万步迭代都无法收敛;而自然梯度下降用费舍尔信息矩阵*校正了参数空间的几何扭曲,不到100步就收敛了。

费舍尔信息矩阵:衡量一个概率分布对参数变化的敏感程度的矩阵,自然梯度下降用它的逆矩阵来校正标准梯度的方向

这个对比相当震撼,相差了接近两个数量级的迭代次数。论文解释说,标准梯度下降在这个例子里会先朝一个几乎平行于某个坐标轴的方向猛冲,然后陷入一条狭长的"山谷"里缓慢蠕动;而自然梯度一开始就瞄准了正确的下降方向,几乎可以一步到位。

由于直接计算和求逆费舍尔矩阵的代价极高,后续研究者提出了K-FAC、Shampoo等方法,试图用近似手段在可接受的计算成本内捕捉二阶信息。其中Shampoo方法通过对左右两侧分别维护小规模的预处理矩阵,巧妙地避开了对整个参数矩阵做高维运算的开销。论文还提到,Shampoo的分布式版本在2024年赢得了AlgoPerf训练算法竞赛,官方公告里甚至用了"非对角预处理终结了Nesterov Adam的统治"这样的措辞。

最新的Muon方法则更进一步,用一种叫做牛顿-舒尔茨迭代的多项式方法,间接近似Shampoo里那两个代价高昂的分数次幂矩阵运算,在保留二阶信息优势的同时大幅降低了计算开销。

写在后面

读完这篇论文,最触动我的其实不是某个具体的算法细节,而是它反复出现的一个主题:看似无关的两个领域,底层可能共享同一套数学语言。

论文里提到2024年NeurIPS投稿量从2021年的9122篇暴涨到2025年的21575篇,增幅超过40%。作者引用了一个颇为犀利的说法:按照这个26.3%的年增长率,理论上59年后全世界每个人都要提交一篇论文。这个数字本身就是一种黑色幽默,它精准地刻画出AI研究正处在一种近乎失控的膨胀状态。

但正是在这种喧嚣里,论文传递出一种冷静的坚持:数值线性代数这门诞生于上世纪航空航天时代的古老学科,并没有被这波浪潮甩在身后,反而成为了浪潮本身的骨架。从反向传播的矩阵链式法则,到LoRA的低秩分解,再到Shampoo和Muon的矩阵预处理技巧,支撑起整个大语言模型帝国的,始终是那些教科书里早已写明的矩阵运算规则。

论文作者坦诚地承认自己并非AI领域的专家,这篇综述的目标也不是提供面面俱到的全景图,而是提供一个矩阵理论视角下的切片。这种谦逊的态度反而让人更愿意相信他们的判断:与其在传统领域里固步自封,不如主动走进这片新的战场,用自己最擅长的工具参与进去。

我在想,这是不是也是一种更普遍的生存智慧。当一个行业被外来的新浪潮冲击时,与其担心自己的技艺会被淘汰,不如先搞清楚,新浪潮的地基里,有多少其实是自己早就铺好的砖石。

Q&A

Q1:数值线性代数在大语言模型中具体发挥了什么作用?

A:数值线性代数提供了矩阵和张量运算的核心工具,反向传播本质上是矩阵链式求导,注意力机制是矩阵相乘加softmax归一化,LoRA微调依赖低秩矩阵分解,Shampoo和Muon等优化器也建立在矩阵预处理技术之上,可以说支撑起了整个大语言模型架构的计算骨架。

Q2:LoRA为什么能大幅降低模型微调的参数量?

A:LoRA冻结预训练模型的原始权重矩阵不动,只训练两个远小于原矩阵的低秩矩阵相乘得到的增量部分。论文中提到用LoRA微调GPT-3时,需要训练的参数量从1750亿降到1700万,相当于节省了一万倍的参数开销。

Q3:混合专家模型(MoE)和普通Transformer有什么区别?

A:普通Transformer每一层的前馈网络对所有词使用同一套参数,而混合专家模型把前馈层换成多个独立的专家网络,每次输入只激活其中少数几个专家处理,由路由器决定分配方案,这样可以在扩大总参数量的同时把实际计算成本控制在较低水平。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-