
你可能没想过这个问题:当你在手机上跑一个几百兆的小语言模型时,这个模型里到底有多少比例是在"真正思考",又有多少只是在"记单词"。
答案可能会让你吃惊。拿谷歌的 Gemma 3 270M 来说,这是一个 2.68 亿参数的小模型,专为手机和笔记本设计。但如果你拆开看它的内部构造,会发现一个让人意外的事实:
这个模型里真正负责计算、推理的前馈层,只有 7100 万参数。而光是那张"词表",也就是把每个词转换成数字向量的嵌入表,就占了 1.68 亿参数,整整 63%。
模型瘦身,词表却成了甩不掉的赘肉
这几年小模型圈子发生了三件大事。第一是 BitNet 证明了一个神经网络可以把权重压缩到只用 -1、0、+1 三个数字表示,几乎不损失多少质量。
**BitNet*:一种让神经网络权重只取 -1、0、+1 三个值的极致压缩技术,又称三值化(ternary)网络,目标是让模型体积和计算量大幅下降。*
第二是十亿参数以下的小模型真的变得够用了,谷歌的 Gemma、Hugging Face 的 SmolLM、阿里的 Qwen 小尺寸版本,都能在日常任务里派上用场。第三是大家开始真的把这些模型塞进手机和笔记本电脑里跑,这时候每一兆字节的体积、每一个字节的读取速度,都变成了真金白银的成本。
但词表这块一直没人真正动过刀子。几乎所有语言模型都有一张"嵌入表",给每一个词分配一条学习出来的向量,这张表通常还和模型最后输出的那一层共享参数。对于几百亿参数的大模型,这张表是零头。但对于几亿参数的小模型,这张表几乎就是模型本身。
更麻烦的是,量化技术并没有解决这个问题,反而让它更突出了。
**量化*:把模型里的数字(权重)用更少的比特位来表示,比如从 16 位压缩到 4 位或更低,从而减小模型体积、加快运算速度的技术。*
BitNet 把身体部分压到了接近 1 比特,却仍然把嵌入表留在 16 位。GPTQ、AWQ 这些主流量化方法也统统绕过嵌入层不动。llama.cpp 这种大家常用的本地推理引擎,输出层最多也就压到 6 到 8 比特。结果就是,当模型的"身体"被压缩得足够苗条之后,嵌入表反而成了文件里占比最大的部分。按论文的估算,如果给 Gemma 3 270M 配上三值化的身体,却保留 16 位的词表,整个文件会变成大约 20 MB 的身体加上 335 MB 的词表,词表反而成了那个"甩不掉的大头"。
连微软自己发布 BitNet b1.58 2B4T 技术报告时,给出的内存占用数字都写的是"0.4 GB(不含嵌入层)",等于直接把这个大头从统计口径里摘了出去。这篇论文的作者觉得,这种默认接受的态度本身就值得质疑:这张词表到底值不值这个价钱?
一张词表要做两件事,真的需要这么贵吗
要回答这个问题,得先搞清楚词表到底在干什么。
一个词的嵌入向量,实际上承担两个任务。第一个任务是告诉模型"刚才输入的是哪个词",第二个任务是在模型吐出一个输出之后,拿这个输出去和词表里所有词打分,看看哪个词最匹配。
这两件事,真的需要给每个词配一条几百维、完全由训练学出来的浮点向量吗?论文作者此前做过两次尝试,SHADOW-250M 和 SHADOW-50M,两个模型都抛弃了可学习词表,改用固定的二进制编码,跑起来确实又小又快。但这两次实验都不是严格对照实验,身体结构、训练数据、训练步数都和常规模型不一样,没法说清楚"省下来的到底是不是词表的功劳"。
这篇论文想做的,就是把这件事彻底讲清楚:用一模一样的模型结构,一模一样的训练数据,一模一样的步数和随机种子,唯一的变量就是词表要不要训练。
把词表冻起来:原理和它带来的代价
论文给出的方案说起来并不复杂。先拿一个已经训练好的嵌入矩阵,这里用的是 Gemma 3 270M 自带的那张,262144 个词、每个词 640 维。把这个矩阵做中心化处理,取它方差最大的 512 个主方向,只保留每个词在这些方向上投影的正负号。
**主成分分析(PCA)*:一种从高维数据里找出"信息量最大的几个方向"的数学方法,这里用来把 640 维的词向量压缩到 512 个关键方向上。
**二值化*:只保留数值的正负符号(+1 或 -1),丢掉具体大小,这样每个数只需要 1 个比特就能存储,而不是原来的 16 位或 32 位浮点数。*
这样一来,每个词就变成一串 512 位的二进制编码,整张词表只要 16.8 MB,而且训练开始之后它就再也不会变了,是完全冻结的。这张冻结表进入模型之前,要先经过一个很小的线性映射(512 维转 640 维),模型输出之后再经过另一个小映射转回 512 维去和词表打分。这两个映射加起来只有 65 万参数,比起原来 1.68 亿参数的可学习词表,几乎可以忽略不计。
此外还加了一个叫"seal"的小设计,就是把每个词在训练语料里出现的对数词频,当成一个固定的打分偏置加进去,这部分也不需要训练,只占 1 MB 。
这里可以打一个比方。可学习词表就像是让每个新员工从零开始,在公司里慢慢摸索、犯错、积累经验,才能学会自己的工作方式,公司投入大量时间成本,但越老练的员工确实越好用。而冻结词表更像是直接雇佣一批已经有多年从业经验的老手,他们带着固定的工作方法直接上岗,入职当天就能干活,公司不用再为他们的"在职培训"花一分钱,但代价是这些人以后很难再根据公司具体业务做深度调整。如果不冻结,模型要花大量步数才能把每个词的向量从随机初始化调教到能用的程度,尤其是那些训练数据里很少出现的生僻词,这些词的向量很可能永远都停留在接近随机的状态,根本没被"调教"过几次。
论文还验证了一下,这个压缩到底丢了多少信息。那 512 个主方向保留了原始嵌入表 92.3% 的方差,在一个叫 WordSim-353 的词语相似度测试集上,压缩后的编码和人类打分的相关性是 0.617,比原始浮点嵌入的 0.614 还略高一点点。一个词的 10 个最近邻居里,有 67% 在压缩编码之后仍然是最近邻居。换句话说,这次"瘦身"基本没伤筋动骨。
三组对照实验,答案比想象中复杂
论文设计了三个版本的模型,身体结构完全照搬 Gemma 3 270M 的配置:18 层、宽度 640、2048 维的前馈网络,用 FineWeb-Edu 数据集里的 20.5 亿个 token 从零训练,三组用完全相同的数据顺序和随机种子。
**FineWeb-Edu*:Hugging Face 发布的一个高质量网页文本数据集,专门筛选出教育类内容,常用于训练小语言模型。
**Token*:语言模型处理文本的最小单位,可以理解为"词或词的一部分",一个句子通常会被切成十几到几十个 token。*
A 组是标准做法,词表和身体都用浮点数训练,一共 2.681 亿可训练参数。B 组用冻结词表加浮点身体,可训练参数只有 1.01 亿。C 组则更激进,词表照样冻结,身体换成 BitNet 的三值化结构,可训练参数 1.012 亿。
结果出人意料地不是一边倒。
**验证损失(loss)*:衡量模型预测下一个词准确程度的指标,数值越低说明模型预测得越准。*
在验证损失这项最基础的指标上,A 组确实赢了,比 B 组低 0.20 nats,相当于困惑度低了大约 23%。但真正跑到下游任务的测试,情况就变了。
LAMBADA、HellaSwag、ARC-Easy、PIQA,是评测语言模型常识推理和语言理解能力的四个标准测试集,覆盖补全句子、常识推理、科学问答、物理常识等不同能力。
| 模型 | 可训练参数 | LAMBADA | HellaSwag | ARC-Easy | PIQA | 验证损失 |
|---|---|---|---|---|---|---|
| A 可学习词表 | 2.681亿 | 21.6 | 30.4 | **45.9** | 60.6 | **3.155** |
| B 冻结词表+浮点身体 | 1.010亿 | **23.2** | 30.4 | 42.5 | **61.5** | 3.358 |
| C 冻结词表+三值身体 | 1.012亿 | 22.5 | 29.4 | 41.0 | 59.5 | 3.439 |
B 组在 LAMBADA 上反而比 A 组高出 1.6 个百分点,在 HellaSwag 和 PIQA 上基本打平,只有在 ARC-Easy 这一项上落后了 3.4 个百分点。
也就是说,花 1.68 亿参数去训练那张词表,换来的实际收益,大概就是一个科学常识测试上的优势,其余几乎都是平局甚至反而更差。这多少有点像花大价钱装修了一间会客室,结果客人进门之后大部分时间都待在厨房里,那间华丽的会客室实际使用率极低。
损失曲线还揭示了一个挺有意思的细节:训练刚开始时,冻结词表的 B 组其实是领先的,因为它的编码从一开始就带着 Gemma 原始嵌入的"知识",不用从零摸索。大约训练到 600 步时,A 组反超,之后一路拉开差距,到 3000 步左右差距稳定在 0.20 nats。这说明可学习词表的优势不是"先天优势",而是靠海量数据慢慢"学"出来的后天能力,数据喂得越多,它越有机会把这个优势发挥出来。
生僻词上,冻结词表反而更强
论文还按照词在训练数据里出现的频率,把验证损失拆开看,这一拆就看出了关键差异。
对于训练中出现超过 100 万次的高频词(占全部文本的 52%),两边几乎没差别,A 组仅领先 0.035 nats。但对于只出现 10 到 99 次的生僻词,情况反转了:B 组反而领先 A 组 2.3 nats,C 组领先 1.7 nats。
这个结果其实很好理解。Gemma 的词表里有 26.2 万个词,其中 5.28 万个词在这次 20.5 亿 token 的训练数据里根本没出现过,只有 14.7 万个词出现过 10 次以上。对于 A 组这种从零训练的可学习词表,这些生僻词的向量几乎就是在"裸奔",没见过几次,根本没机会被调教成型。而冻结词表从一开始就带着 Gemma 原始模型里学到的语义信息,哪怕这个词在当前训练数据里几乎不出现,它的编码依然是"懂行"的。
这就好比两个翻译,一个是刚毕业的新手,只会翻译培训教材里反复出现的常用词,碰到生僻专业术语就抓瞎;另一个是带着多年行业词典积累入职的老翻译,哪怕某个术语在这家公司的日常文件里一年都用不上几次,他照样知道意思。如果公司的业务高度依赖处理各种长尾、冷门的专业词汇,第二种翻译明显更靠谱。
三值化之后:46 MB 的文件,笔记本上跑出每秒 700 多词
把冻结词表和三值化身体结合起来的 C 组,才是这篇论文真正想证明的终极形态。
C 组整个模型压缩打包后是 46.2 MB,其中词表占 16.8 MB,三值身体大概 20 MB。作为对比,A 组用 16 位精度存成 GGUF 格式的文件有 543 MB,相当于 C 组的十多倍体积。
**GGUF*:llama.cpp 推理引擎使用的一种模型文件格式,支持多种精度的权重压缩存储。*
质量上,C 组在 LAMBADA 和 PIQA 上和 A 组打平,HellaSwag 落后 0.9 个百分点,ARC-Easy 落后 4.9 个百分点,但别忘了 C 组只有 A 组一半都不到的可训练参数。
更打眼的是速度测试。作者专门写了一套针对三值网络的 CPU 推理代码,在一台普通的英特尔笔记本处理器上,用 8 个线程做测试。公平对比的对象是 A 组经过 8 位量化的 GGUF 文件(这个量化等级基本不损失精度),结果 C 组的生成速度达到每秒 615 到 740 个词,是 A 组 8 位版本每秒 116 个词的 5.3 到 6.4 倍,同时内存占用只有 62 MB,是对方 471 MB 的七分之一。
| 模型 | 文件大小 | 峰值内存 | 每秒生成词数 |
|---|---|---|---|
| A,16位浮点 | 543 MB | 723 MB | 62 |
| A,8位量化 | 292 MB | 471 MB | 116 |
| A,4位量化 | 253 MB | 446 MB | 130 |
| C,三值+冻结词表 | **46 MB** | **62 MB** | **615-740** |
有意思的是,哪怕是把 A 组压到最激进的 4 位量化,文件也只能压到 253 MB,原因就在于 llama.cpp 这类量化工具统统绕开了词表不动手,那 25 万多个词、640 维的嵌入表,始终用 16 位精度存着,占了 4 位量化版本里 250 MB 的体积。这正好印证了论文开头提出的那个判断,词表才是压缩不动的那块硬骨头。
新词能不能后加?这是冻结词表真正的杀手锏
除了跑得快、体积小,冻结词表还有一个可学习词表完全做不到的能力:训练结束之后还能往里面加新词。
这是因为冻结词表的每一条编码,都是通过一个明确的数学规则(主成分投影加符号化)从某个向量算出来的。只要给出一个新词对应的向量,就能按同样规则算出它的编码。而可学习词表里的每一行向量,纯粹是训练过程中一点点调出来的,如果训练结束后想加一个新词,这一行向量只能随机初始化,等于一个完全没上过学的新人。
论文做了个很实在的测试:从 PubMed 医学文献里挑出 10000 个被 Gemma 分词器拆成两段以上的高频生物医学词汇,把它们各自当成一个新的完整词加进词表,不做任何额外训练。
**PubMed*:一个收录生物医学领域论文摘要的大型数据库,常用于医学自然语言处理研究。*
结果相当悬殊。冻结词表(B 组和 C 组)加入这 1 万个新词之后,困惑度只上升了大约 3%,而可学习词表(A 组)的困惑度直接暴涨 42.9%,相当于直接崩盘。
这组数字背后的道理其实很朴素。可以把它想象成两种不同的图书馆扩建方式:冻结词表的图书馆有一套固定的编目规则,新书一到,管理员直接按规则编号上架,读者照样能很快找到;可学习词表的图书馆则是靠管理员记忆力认书,新书堆在角落里,没人特意教过管理员怎么归类它们,结果读者想找这本书的时候,整个检索系统都乱了套。如果经常需要往词表里加新领域的专业词汇,比如医学、法律、某种小众方言,可学习词表这条路基本走不通,得重新训练才行。
不过论文也很诚实地指出,这个能力的意义更多在于"能不能做到",而不是"做了之后质量会不会更好"。哪怕是冻结词表,加入新词之后困惑度还是涨了 3%,没有变成零代价。研究者试了好几种给新词编码的方式,拿词的各个碎片向量取平均、只用第一个碎片、甚至直接从模型输出里反推,都没能把这个代价降到零。真正体现这种能力价值的场景,是像论文作者此前 SHADOW-50M 那样的极端情况,那个模型完全不认识 8600 个英文词片段,而 Gemma 的词表已经覆盖得足够全,留给"新增词"施展的空间本来就不大。
论文自己承认的局限,也值得说一说
这篇论文的态度挺克制,没有把结论吹得过满,反而花了不少篇幅讲清楚哪些地方没做到位。
比如每组实验只跑了一次,没有换随机种子重复验证,换一个种子,0.20 nats 的差距可能会有几个百分点的浮动。2.05 亿 token 的训练量对于 1 亿参数级别的模型来说刚好合适,但对于 A 组那张巨大的词表而言,其实是训练不充分的,如果训练数据量拉到 20B token,词表的优势大概率会比现在更明显,到时候下游测试的结果可能会改写。
C 组和 B 组之间,其实同时变了三个东西:身体结构从浮点换成三值、训练的学习率调度表换成了 BitNet 作者推荐的配方、偏置项是否参与训练也不一样。论文只拆解了"偏置项是否训练"这一个变量的影响,大概贡献了 0.003 到 0.022 nats 的差距,剩下的学习率调度表这个变量具体贡献多少,论文没有单独测出来。
另外,这整套冻结编码是从 Gemma 3 270M 原始的嵌入矩阵里提炼出来的,等于是站在巨人肩膀上薅羊毛,这意味着它天生继承了 Gemma 嵌入表里已有的所有知识和盲区,同时发布相关权重也得遵守谷歌的 Gemma 许可条款。方法本身也依赖于有一个现成训练好的嵌入表可以提炼,如果完全没有这种起点,这套流程能不能跑通还是个开放问题。
写在后面
读完这篇论文,最触动我的其实不是那些速度和体积的数字,而是它提出问题的方式。大部分关于模型压缩的研究,默认的思路都是"怎么把现有的东西压得更小",而这篇论文问的是另一个问题:"这块东西本来就该这么大吗?"
这种追问背后藏着一种对"默认设定"的警惕。词表要用浮点数训练、要和输出层共享参数、要占去模型大半的体积,这些设定在深度学习圈子里几乎已经成了不言自明的行业惯例,连 BitNet 这种以极致压缩著称的工作,技术报告里给出的内存数字都默默把词表摘了出去。论文作者没有接受这个默认设定,而是去问了一句"这张表到底值多少钱",这种较真的态度本身比具体的技术方案更有意思。
另一个让我印象深刻的细节,是按词频拆分损失那张表。它提醒我们,一个笼统的"平均损失提升了多少"的数字,往往掩盖了完全相反方向的两种效应:常见词上可学习词表小赢,生僻词上冻结词表大赢,两边一平均,表面上看起来只是小幅落后,但实际的能力分布可能完全不一样。这种细粒度拆解的习惯,值得搬到很多其他场景的评测里去用。
论文末尾提了一句,下一步要把这套冻结编码的思路,扩展到文字、图片、音频、视频统一的 512 位编码空间里,让一个小模型同时看图、听声音、写句子,还要能塞进 CPU 里跑。这句话写得很轻描淡写,但如果真的做成了,意味着多模态模型第一次可能不需要给每一种模态单独配一套昂贵的可学习嵌入系统。这事到底能不能成,恐怕得等下一篇论文揭晓。
Q&A
Q1:冻结词表和可学习词表相比,哪个效果更好?
A:没有绝对的赢家。可学习词表在验证损失上更低,整体困惑度更小,但在 LAMBADA、HellaSwag、PIQA 等下游测试中打平或略胜,只在 ARC-Easy 上明显领先。冻结词表反而在生僻词预测上赢了 1.7 到 2.3 nats,还能在训练后免费添加新词,而可学习词表添加新词会导致困惑度暴涨 43%。
Q2:三值化模型在笔记本电脑上跑起来到底有多快?
A:论文中的 C 组模型(冻结词表加三值身体)压缩后只有 46.2 MB,在英特尔笔记本 CPU 上用 8 线程测试,生成速度达到每秒 615 到 740 个词,是同等质量的 8 位量化浮点模型(每秒 116 个词)的 5.3 到 6.4 倍,内存占用只有 62 MB,是对方 471 MB 的约七分之一。
Q3:为什么现在的语言模型词表都不压缩,偏偏留在高精度?
A:因为主流量化工具如 GPTQ、AWQ、llama.cpp 都默认跳过嵌入层和输出层不做压缩,BitNet 也把嵌入表和输出头留在 16 位精度。这导致模型身体部分被压得很小之后,词表反而成了文件里占比最大的部分,论文认为这是一个被长期忽视的"默认惯例"。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。