微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 稀疏自编码器,如何让AI学会"看懂"不同系统里的同一个概念

稀疏自编码器,如何让AI学会"看懂"不同系统里的同一个概念

2026-11-21 09:29
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-21 09:29 • 科技行者

2023年,一群研究者遇到了一个很尴尬的问题。

他们手里有四个数学证明系统:Lean 4、Isabelle、Metamath、HOL Light。这四个系统里存着成千上万条数学定理,很多其实是同一个定理,只是用了完全不同的符号写法。比如同一个关于三角函数的命题,在Lean 4里可能写成`Real.cos x`,在Metamath里却变成一串让人眼花缭乱的符号`( cos \` X )`。

人能一眼认出这是同一个东西,但要让机器自动把这几万条定理两两配对,几乎是不可能完成的任务。而这还只是冰山一角:知识图谱里,一个地方在NELL系统里叫`trainstation`,在DBpedia里叫`RailwayStation`;生物医学本体库里,同一种疾病在不同词典里有完全不同的编码;代码库里,同一个函数用Java和Python写出来长得面目全非。

这些系统谁也不认识谁。而现实中大量有价值的知识,就这样被锁在一个个互不往来的孤岛里。

这篇来自伊利诺伊大学厄巴纳-香槟分校的论文,标题叫《稀疏自编码器是符号匹配的共享坐标系》,讲的就是怎么解决这个问题。

为什么神经网络也帮不上忙

你可能会说,现在大语言模型这么强,读懂各种符号系统不是小意思吗?

还真不是。

大语言模型确实能读懂几乎任何notation

notation*:这里指代各种专业领域里使用的符号记法,比如数学证明里的形式化语言、化学分子的编码方式等。

但问题出在它内部表示这些符号的方式上。LLM读完一段文字后,会在内部生成一个高维向量,专业上叫隐藏状态。这个向量理论上应该编码了这段文字的所有含义,可实际上它有个毛病:各向异性

各向异性*:指的是一组向量在高维空间里并不是均匀分布的,而是普遍朝着某几个固定方向偏转,就像一群本该随机散开的箭头,却总是指向差不多的方位。

打个比方。假设你让一百个人分别描述一百种完全不同的水果,苹果、香蕉、榴莲、火龙果,本来这些描述应该千差万别。可结果你发现,几乎每个人的描述里都不自觉地带了一句"这是一种食物"、"你可以吃它"。这些信息并没有错,但它们是废话,是所有描述共享的背景噪音,真正能区分苹果和香蕉的信息反而被这些共性淹没了。

LLM的隐藏向量就是这样,里面混杂着大量对所有输入都成立的通用方向,这些方向在计算相似度的时候反而成了干扰项,把真正有区分度的语义信号盖住了。

更麻烦的是另一个现象,叫做叠加

叠加*:指神经网络中一个维度往往同时承载好几个互不相关的概念,就像一个抽屉里胡乱塞着螺丝刀、袜子和巧克力。

既然一个维度混着好几个概念,你就没法单独针对某个概念做加权处理,也没法打开这个维度看看里面到底装了什么,一切都黑箱化了。

稀疏自编码器:给每个概念一个单独的抽屉

研究者想到的解决方案是稀疏自编码器

稀疏自编码器*:简称SAE,是一种能把LLM内部那种混乱叠加的稠密向量,重新展开成一个维度数量极其庞大(可以多达十几万甚至更多),但大部分位置都是零的稀疏向量的技术。每个非零的维度对应一个相对单一、可解释的"特征"。

这里的关键转变是,SAE相当于把前面提到的那个塞满杂物的抽屉,重新整理成了一个巨大的分类储物柜,每一格只放一种东西,这一格放"货币相关词汇",那一格放"铁路车站相关概念",再远一点的格子放"编程语言里的变量命名习惯"。

论文里用的是Gemma Scope和Llama Scope这两套公开发布的SAE工具,分别配合Gemma-2-9B和Llama-3.1-8B两个模型使用。拿Gemma这套来说,原始的隐藏向量是3584维的稠密向量,经过SAE编码后变成了131072维,但其中真正激活(非零)的维度平均只有114个左右。

这就是论文标题里"共享坐标系"的意思:SAE训练出来的这套特征字典,相当于给所有后续要处理的文本提供了一个统一的、每个维度都有明确含义的坐标系统。不管你输入的是Lean 4的证明还是Metamath的证明,它们最终都会被投影到这同一套坐标轴上,而且每根轴代表什么,是可以用人类语言说清楚的。

打个比方,这就好比给全世界所有地图都统一标注经纬度。以前不同国家的地图可能用的是完全不同的局部坐标系统,巴黎地图上的"第5区"和东京地图上的"涩谷"之间没有任何可比性。但一旦都换算成经纬度,任何两个地点之间就能算出真实的地理距离了。如果没有这套统一坐标系,你永远没法知道巴黎圣母院和东京塔之间到底隔了多远,你能做的最多是在各自地图上模糊地感觉"挺远的"。

光有坐标系还不够:稀释掉那些"大路货"特征

但研究者很快发现一个新问题。

即使用了SAE,如果把所有激活的特征不加区分地拿来算相似度,效果依然不理想。原因是什么呢?

因为就算是在稀疏的特征空间里,依然存在一些"万金油"特征。论文里提到一个具体例子,有个编号为f106376的特征,它的解释是"数学或编程记法",这个特征在Pile语料库(一个800GB的大规模文本数据集)里99%的token上都会被激活。

这意味着什么?意味着几乎任何一段和数学、代码沾边的文本,这个特征都会被点亮。它确实是真的、确实相关,但它完全没有区分度,所有候选项都有它,所以它对"谁和谁更配对"这件事毫无贡献,反而因为激活值很大,会主导整个相似度计算,把真正有用的信号淹没掉。

论文的解决办法是借用了信息检索领域一个诞生于1972年的经典技巧,叫逆文档频率

逆文档频率*:英文缩写IDF,原本是文本检索领域的经典方法,核心逻辑是一个词如果在所有文档里都出现,那它对区分文档没什么用,应该降低权重;反之,一个词如果只在少数文档里出现,说明它更有辨识度,应该提高权重。

论文把这个逻辑直接搬到了SAE的特征维度上,统计每个特征在整个候选池里到底有多少符号会激活它,激活得越普遍,权重压得越低,激活得越稀少,权重放得越大。这样一来,"数学记法"这种人人都有的特征权重被压到接近零,而"铁路车站相关"这种只有少数符号才会激活的特征,权重被大幅放大。

这个过程像极了老师批改开放式问答题。如果全班同学都写了"综上所述"这种套话,老师根本不会把它当作评分依据,因为它不能区分谁答得好谁答得差。但如果只有一个学生用了一个特别精准的专业术语,老师会立刻注意到并给加分,因为这个词体现出了真正的理解程度。如果不做这种加权,相当于让"综上所述"这种车轱辑话和真正的专业术语获得同等分量的评价权重,最终整张卷子的得分会完全失真。

论文里有张图(原文图1)生动展示了这套流程的效果。查询对象是知识图谱NELL里的`trainstation`这个类,目标是在DBpedia里找到它的对应项`RailwayStation`。

用原始的稠密向量匹配,模型排在第一位的答案居然是`AutombileEngine`(汽车引擎,而且原文里这个词还拼错了),真正正确的`RailwayStation`被排到了第五位。拆解一下为什么会匹配到汽车引擎:排名最高的贡献特征是"开源软件许可证文本"占25%,"带有科学或技术后缀的词汇"占16%,这些都是放之四海而皆准的技术文本通用特征,跟铁路一点关系都没有。

而经过SAE加IDF处理后,`RailwayStation`直接跃升到第一位,其中93%的匹配分数来自两个高度相关的特征:"涉及铁路的引用"贡献60%,"涉及车站的引用"贡献32%。这两个特征在整个候选池里都是稀有特征,一旦被激活,信号极其明确。

实测效果:12个任务,跨越6类完全不同的符号系统

光有思路不够,得看实际效果。

研究者选了六大类风格迥异的符号系统来做测试,分别是形式数学证明(miniF2F数据集,涉及四个证明助手之间的互译)、程序代码(XLCoST,覆盖Java、C++、Python等七种语言互相检索)、表格schema匹配(Valentine数据集的551对表格)、知识图谱对齐(NELL对DBpedia、YAGO对Wikidata)、跨语言本体匹配(MultiFarm,中文、俄文、阿拉伯文对英文)、生物医学本体匹配(Bio-ML和OAEI解剖学数据集)。

结果汇总在论文的表1里,核心对比对象是同一个模型不加SAE处理的稠密隐藏状态基线。用Gemma-2-9B的时候,SAE-IDF方法在全部12个任务上都超过了稠密基线,最大的领先幅度出现在Lean 4到Metamath这条线上,MRR指标从0.210直接跳到0.661,提升了0.451,这是一个相当夸张的跃升。

| 任务 | 稠密基线MRR | SAE-IDF MRR | 提升 |

|---|---|---|---|

| Lean 4 → Isabelle | 0.912 | **0.961** | +0.05 |

| Lean 4 → Metamath | 0.210 | **0.661** | +0.45 |

| Lean 4 → HOL Light | 0.539 | **0.898** | +0.36 |

| NELL → DBpedia | 0.931 | **0.976** | +0.04 |

| YAGO → Wikidata | 0.860 | **0.962** | +0.10 |

| 中文→英文本体匹配 | 0.650 | **0.754** | +0.10 |

| 俄文→英文本体匹配 | 0.644 | **0.765** | +0.12 |

| 阿拉伯文→英文本体匹配 | 0.595 | **0.722** | +0.13 |

| NCIT→DOID生物本体 | 0.701 | **0.817** | +0.12 |

| 小鼠→人类解剖本体 | 0.812 | **0.886** | +0.07 |

换到Llama-3.1-8B这个模型家族,SAE-IDF在14个对比项里赢了13个,唯一的例外是XLCoST的MRR指标,输得也很微弱。

有意思的是,提升幅度的大小和两个系统notation的相似程度直接相关。Isabelle的写法和Lean 4本来就比较接近,所以提升幅度小,只有0.05;而Metamath和HOL Light的符号写法跟Lean 4差得特别远,提升幅度就特别大。反过来,XLCoST的代码之间本来就共享大量相同的变量命名和函数名,字符串匹配这种最朴素的方法本身就已经很强了,所以SAE-IDF的边际提升只有0.01。

这个规律本身就很说明问题:当两个系统表面上长得越不像,纯粹依赖字面匹配的方法越容易失效,而这恰恰是SAE-IDF方法派上用场的地方,因为它比较的是深层语义特征,而不是表面字符。

把两个因素拆开看,谁才是真正的功臣

研究者做了一件很严谨的事:既然SAE-IDF由两部分组成(稀疏特征字典加IDF加权),那到底是哪部分在起作用?

他们设计了一组消融实验。去掉IDF加权,只用原始的SAE稀疏编码,结果在18个主要对比项里,有15项反而比稠密基线还差,最多领先也只有0.012。这说明光有一套稀疏坐标系统是不够的,如果不做稀释处理,那些"万金油"特征照样会主导匹配结果。

反过来,研究者又试了另一种控制实验:用一个随机初始化、维度和稀疏程度都跟真实SAE完全一样的"假字典",再配上IDF加权。结果这个随机字典在每一项任务上都低于原始稠密基线。

这两组实验合起来说明一件事:SAE学到的那套特征方向本身是有价值的,它确实抓住了语言里真实存在的语义结构,而IDF加权则是让这套结构真正发挥作用的必要步骤。两者缺一不可,就像一把锁需要钥匙的形状对,同时也需要钥匙插入的方向对,少了任何一个条件都打不开门。

研究者还系统扫描了SAE所在的不同层数、不同的特征字典宽度(从16000一路到100万)、不同的稀疏程度,以及2B到27B不同规模的模型。在全部39种配置、78次实验里,SAE-IDF无一例外地超过了稠密基线和去掉IDF的版本。更难得的是,随着特征字典从16000扩大到100万,HOL Light这个任务上的MRR持续从0.817一路涨到0.935,这意味着这套方法会随着底层SAE技术的规模化而持续变强,不需要额外重新训练。

可解释性:每一次匹配都能说出理由

这篇论文还有一个很打动人的地方,是它不只给出一个匹配结果,还能告诉你为什么是这个结果。

研究者对2315个正确匹配案例做了特征层面的拆解分析。他们发现,在没有IDF加权的情况下,前面提到的那个"数学或编程记法"特征几乎霸占了所有匹配的解释权,96%到100%的案例里它都排在贡献度前五;而加上IDF加权之后,这个特征在任何一个案例里都不再出现。

更细致的统计显示,在Pile语料库里激活频率超过1%的那些"大路货"特征,在未加权版本里能贡献56%到91%的相似度分数,而加权之后这个比例被压到了0到6%。

论文举了个具体的例子。MultiFarm数据集里有个中文术语"费用",要在英文本体里找到"fee for conference"这个对应项。两个词表面上没有任何共同字符,稠密基线把正确答案排到了第13位。用未加权的SAE,排名反而掉到了第40位,因为主导匹配的是那个泛泛的"数学编程记法"特征(贡献53%),这个特征对所有候选项都一视同仁地激活,根本分不出谁更像"费用"。加上IDF之后,一个叫"费用和支付结构"的精准特征贡献了88%的分数,正确答案一跃排到第一。

这就好比一个翻译在猜一个陌生词的意思时,如果只会说"这是个名词",这种判断对任何词都成立,毫无帮助;但如果他能说出"这个词出现在讨论价格、支付、账单的语境里",那就真正缩小了范围,指向了正确答案。如果没有这种精细化的线索筛选,翻译系统给出的永远只是一堆空泛正确但毫无指向性的废话。

神经符号系统该用规则还是该用相似度

论文最后讨论了一个更哲学性的问题,什么时候该用严格的规则,什么时候该用这种基于相似度的神经网络方法。

他们把Valentine数据集里551对表格列按照内容类型分了类,自由文本、分类标签、标识符、纯数字。结果SAE-IDF在前三类上准确率都在0.79到0.81之间,表现相当扎实,但碰到纯数字列的时候,准确率掉到了0.67,是所有方法里表现最差的一类。

这个结果其实挺符合直觉的。像"用户姓名"、"商品类别"这种内容,背后带着丰富的语义上下文,SAE能从里面提取出有意义的特征模式;但一列孤零零的数字,比如1到100之间随机分布的整数,它本身不携带任何"语义",SAE能抓的东西就很有限了。研究者由此提出一个猜想,像数值范围、单位换算这类具有明确规则的信息,或许更适合交给传统的符号规则系统去处理,而不是硬塞给神经网络。这呼应了哲学家维特根斯坦讲过的"家族相似性"概念,有些概念之间的关联是模糊的、渐变的,适合用相似度衡量;但有些则是由精确定义决定的,这时候规则比相似度更靠谱。

这篇工作的意义,不只停留在单次任务的性能提升上。研究者还做了一个"合并四个数学证明系统"的实验,把Lean 4、Isabelle、Metamath、HOL Light这四个系统里的489个真实题目,通过两两互相匹配的方式尝试自动归并成等价集合。结果显示,用SAE-IDF产生的匹配关系去合并,最终聚类数量是758个,比真实的489个题目数量更接近;而用稠密基线合并出来的聚类数量高达1096个,说明有大量本该合并在一起的题目被错误地拆开了。这个合并实验某种程度上模拟了未来真正想要把多个独立构建的符号系统拼接成一个更大的知识网络时会遇到的场景。

写在后面

读这篇论文时,最让我意外的一点,是这套方法完全不需要任何针对特定任务的训练。

它用的SAE是别人训练好发布出来的公开工具,用的LLM也是现成的开源模型,整个流程唯一需要做的,就是把符号丢进LLM里读一遍,拿SAE编码一下,再做个IDF加权。没有标注数据,没有微调步骤,没有专门为某个任务定制的架构。这种"白嫖"现成组件拼出一套跨领域通用方案的思路,其实是对当下AI研究一种挺克制的态度:不是什么都要重新训一个模型,有时候现成的积木拼对了方式,照样能解决新问题。

还有一点值得多想一层。论文里提到,像Qwen3-Embedding-8B这样专门训练过的检索模型,在形式数学任务上表现特别好,MRR能到0.97以上,远超SAE-IDF。但论文作者猜测,这很可能是因为这些数学证明数据集早在2021年就公开发布了,训练语料里大概率见过这些确切的配对关系,本质上是一种记忆,而不是真正学会了"匹配"这件事本身。这个怀疑写得很克制,没有被过度渲染,但它提醒我们,评估一个模型到底是"理解了"还是"背过了",在数据公开透明度越来越低的今天,正在变成一个越来越难回答的问题。

论文还坦白承认了一个局限:这套方法完全依赖LLM本身能不能读懂某种notation。碰到SMILES化学分子式、IUPAC化学命名法这类对LLM来说几乎是乱码的符号系统,所有方法的表现都跌到接近随机猜测的水平,连0.03的MRR都够不着。这提醒我们,所谓的"通用坐标系"终究建立在LLM已经理解的语言基础之上,它能把已经隐式存在的知识显式地提取出来,但没法凭空创造出模型从未见过的理解能力。

一个让人脑子转个不停的问题是,当越来越多独立构建的符号系统想要被拼接成一张更大的知识网络时,谁来决定两个符号到底算不算"同一个东西"?是人类专家的最终裁决,还是某个阈值之上的相似度分数?这篇论文给出的答案是"保留弃权权",置信度不够高的匹配干脆不给出判断。但现实世界的知识合并,远比实验室里干净的候选池要混乱得多。

Q&A

Q1:SAE-IDF是什么?

A:SAE-IDF是一种利用稀疏自编码器和逆文档频率加权相结合的方法,用来对齐不同符号系统(比如不同数学证明工具、不同知识图谱)中代表同一事物的符号,整个过程不需要额外训练。

Q2:SAE-IDF比直接用LLM的隐藏向量匹配效果好在哪里?

A:LLM的隐藏向量存在各向异性和特征叠加的问题,很多维度混杂了多个概念且被通用背景信息主导。SAE-IDF先用稀疏自编码器把向量拆解成可解释的独立特征,再用IDF压低那些到处激活的"万金油"特征权重,突出真正有区分度的语义信号,在12个任务上普遍优于稠密向量基线。

Q3:SAE-IDF在什么情况下表现不好?

A:在数值类型的表格列匹配上准确率明显下降,另外在SMILES、IUPAC这类LLM本身难以理解的化学分子编码上,所有方法包括SAE-IDF都接近随机水平,说明这套方法依赖底层模型本身对符号的理解能力。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-