马里兰大学研究团队找到了一种"免费"读懂AI大脑的新方法

这项由独立研究者与马里兰大学联合开展的研究以预印本形式发表于2026年6月，论文编号为arXiv:2606.11722v1，有兴趣深入了解的读者可通过该编号在arXiv平台查询完整论文。

**一场代价高昂的"AI解剖"**

当人们把一个问题交给ChatGPT或者Gemini这类大语言模型时，模型内部究竟发生了什么？它是如何"理解"词语、形成语境、最终给出答案的？这个问题不仅让普通用户好奇，更是整个AI研究界正在努力破解的核心谜题。

试着把大语言模型的内部运作比作一间黑暗的厂房。厂房里有无数条传送带，每条传送带负责搬运不同类别的信息——有的搬运"这是一个动词"，有的搬运"这段文字在讨论金融"，有的则搬运"前面出现过一个重复的标题格式"。科学家们想要为这间厂房安装监控摄像头，看清楚每条传送带究竟在搬什么。

目前最流行的"摄像头"叫做稀疏自编码器（Sparse Autoencoder，简称SAE）。它的工作原理是：先让模型在海量文本上运行，把每一层的激活信号全部录下来，然后训练一个专门的神经网络去拆解这些信号，最终得到一本"词典"，词典里每一个词条都代表模型内部的一个可解释特征。这套方法确实很强大，但代价也极为惊人。以谷歌为大型语言模型Gemma 2训练的SAE套件"Gemma Scope"为例，整个项目需要训练数百个独立的SAE，学到的特征多达数千万个，每个SAE要消耗40亿到160亿个训练词元，总共保存的激活数据高达约20拍字节（PiB），整体计算量超过了GPT-3训练计算量的20%。这相当于为了给一间厂房装监控，你需要先建一座新厂房来生产摄像头。

更麻烦的是，开源模型的发展速度远比SAE的制作速度快。每隔几个月就有新模型问世，但每个模型的每一层、每个激活位置、每种稀疏度设置都需要单独训练一套SAE才能覆盖。大量研究者想快速探索一个新模型的内部结构，却发现根本等不到对应的SAE工具包。

研究团队在这个背景下提出了一个朴素却有力的问题：在花费巨大代价训练一本新词典之前，模型激活信号的几何形状本身是否已经藏着足够多的可读信息？换句话说，厂房里的传送带在运作时，仅凭声音和震动模式，我们能判断出多少搬运的是什么吗？

他们找到的工具是独立成分分析（Independent Component Analysis，简称ICA）——一种已经存在了几十年的经典统计方法。这个工具之所以此前被忽视，是因为有两道门槛没有被跨越：一是直接把它用于现代大语言模型时，计算过程极不稳定，经常算不出结果；二是就算算出来了，也没有系统性的方法去验证这些结果到底有没有意义。这支研究团队两道门槛都跨过去了，并将整套流程打包成一个可以复现和使用的工具，命名为ICALens。

**一、为什么要找"不像高斯分布"的方向**

要理解ICA为什么有用，需要先理解一个简单的统计直觉。

每个大语言模型处理完一段文字之后，会在每一层产生一个数字向量，可以把它理解成一个坐标点，坐落在一个高维空间里。这个空间有多少维，取决于模型大小——GPT-2 Small是768维，Gemma 2 2B是2304维。每次模型处理一个词元（token），就会在这个空间里产生一个点。

现在用一百万个词元的激活点构成一片"云"。随便在这片云里取一个方向投影，大多数时候得到的分布会比较"均匀"，像一个钟形曲线，统计学家称之为高斯分布。但如果某个方向很特别——比如它专门对应"当前文本在讨论金融话题"这种信号——那么大部分词元在这个方向上的投影会趋近于零（因为大多数文章跟金融无关），只有少数词元会有很大的投影值。这种分布有一个长长的尾巴，不像钟形曲线，统计学家说它是"非高斯"的，更具体地说，它的峰度（kurtosis）很高。

研究团队发现，公开发布的SAE词典里的特征方向，其峰度明显高于随机方向，尽管SAE训练时从来没有显式地要求找高峰度方向。这个观察揭示了一个隐藏的联系：SAE通过"把激活信号拆解得尽可能稀疏"这个目标，隐式地找到了那些非高斯的方向；而ICA则是直接把"找非高斯方向"作为明确目标，通过一个迭代算法（FastICA）在白化后的空间里寻找峰度最大的一组正交方向。

可以用一个更直观的比喻来理解这件事。把模型内部的信息比作一间调音台，每个旋钮对应一种"音效信号"。SAE的做法是：把成千上万个旋钮全装上去，然后调来调去找出哪些旋钮在某首歌里有用。ICA的做法则是：先聆听整体声音，找出其中那几个"特别突出、不像背景噪声"的信号频段，直接把它们分离出来。SAE词典可以有几万甚至几十万个特征，而ICA得到的特征数量至多等于模型的维度数——GPT-2 Small最多768个，Gemma 2 2B最多2304个。ICA是一套更紧凑的"调音台"，但研究团队想知道，这套紧凑工具究竟能捕捉到多少真实的语义信号。

**二、让ICA真正能用起来：三个关键工程改进**

直接把标准FastICA库应用到现代大语言模型的激活数据上，效果极差。研究团队在GPT-2 Small上做测试时发现，用原始激活数据加上最严格的收敛标准，12个残差流层里只有2个能成功算出结果。为了把这个数字提升到实用水平，他们引入了三个相互配合的改进方案。

第一个改进是"行归一化"。大语言模型的残差流里存在一类特殊的"离群词元"——比如序列开头的特殊符号、注意力汇聚点等——它们的激活向量范数远大于普通词元，就像一群身高1.8米的人中间混入了几个2.5米的巨人。这些巨人会严重影响协方差矩阵的计算，让后续的白化和旋转过程变得不稳定。解决方案很简单：在做任何统计计算之前，先把每个激活向量除以它自身的长度，让所有向量都缩放到单位球面上。这样巨人和普通人在统计上的权重就相等了。实验结果显示，单纯引入行归一化，就能把1M激活数据下成功收敛的层数从2层提升到8层。

第二个改进是"鲁棒收敛接受规则"。标准FastICA的停止条件是：所有成分都必须收敛到预设阈值以下。但在高维空间里，总会有少数几个"难搞"的成分一直在阈值附近震荡，导致整个拟合被判定失败，哪怕其他99%的成分都已经稳定了。研究团队改用了一个更温和的规则：只要所有成分中95%的收敛值低于阈值（称为p95-LIM规则），就接受这次拟合，同时对那5%不稳定的成分打上标记，在后续分析中加以区分。这条改动配合行归一化，进一步把1M数据下收敛的层数从8层提升到10层，总迭代次数也从3107次降低到2741次。

第三个改进是"自适应降维重拟合"。对于那些即便用了前两个技巧也无法收敛的层，策略是逐步降低目标成分数量——从完整维度开始，依次减半，直到找到该层能稳定收敛的最大成分数量。这样每一层都能以自己能承受的最高分辨率被分析，而不是直接放弃。

这三个改进叠加在一起，让整个流程不仅成功覆盖了GPT-2 Small的几乎全部层，还能稳定地在Gemma 2 2B（26层，2304维）和Qwen 3.5 2B Base（28层，2048维）上运行。整套流程在GPU上运行，每个模型的全部层级可以在合理时间内完成，无需任何梯度计算或模型权重更新。

**三、ICA到底在找什么：从统计异常到文本含义**

成功拟合只是第一步。更重要的问题是：这些被找出来的"非高斯方向"，在文本层面究竟对应什么含义？

研究团队首先在数据层面做了直接验证。他们分别计算了三类方向在行归一化激活空间上的超额峰度：随机单位方向作为零基准，公开SAE的解码器方向作为有监督对比，以及ICALens找出的方向。结果在GPT-2 Small、Gemma 2 2B和Qwen 3.5 2B三个模型的所有层上都呈现出一致的分层格局：随机方向的超额峰度趋近于零，SAE方向明显偏离零，而ICA方向的峰度中位数更高，超过SAE，在某些层甚至高出一个数量级。这证明ICA确实在激活空间中找到了统计意义上最"特别"的方向，而不是随机旋转。

但统计上的特别，未必对应文本上的可解释性。一个方向可能只是对词元的表面形式（比如是否以字母B开头）高度敏感，这在统计上会产生高峰度，却未必告诉我们多少关于语义的信息。

为了区分"只对局部词元敏感"和"需要更长上下文才激活"这两类成分，研究团队发明了一个新诊断指标，称为有效感受野（Effective Receptive Field，ERF）。这个指标的测量方式颇为巧妙。对于每个ICA成分，先找出在整个语料库中激活值最高的一批例子（大约20个），然后对每个例子做一个实验：从目标词元往左，用越来越短的上下文重新喂给模型，看看至少需要多长的上下文，这个ICA成分才会出现在该词元的"激活前15名"之中，且符号不变。如果只需要目标词元本身（长度为1），说明这个成分是纯粹的词元级探测器；如果需要7到8个词元甚至更长，说明它对上下文有依赖。

通过在三个模型上系统地计算ERF，研究团队发现了几个有趣的规律。浅层（靠近输入的层）以ERF=1的局部成分为主，但并非全部；深层（靠近输出的层）的长ERF成分比例上升，但同样保留了大量局部成分。因此与其说"浅层处理局部信息、深层处理全局信息"，不如说每一层都是不同类型成分的混合体，只是混合比例随深度发生了渐进式变化。尤其值得注意的是，中间层往往是长ERF成分最集中的地方，这使得中间层成为研究上下文依赖语义信号的天然切入点。

ERF还解释了一个此前SAE研究中观察到但未被解释的现象：特征的峰度越高，自动化解释系统给它的分数往往越高。ERF的分析提供了一个直接的机制解释：峰度高的成分往往ERF更小，触发它的模式更局部、更固定，因此从少数几个顶级例子就能总结出规律，无论是人工标注者还是自动化系统都容易识别。相反，ERF大的成分依赖宽泛的上下文，仅看目标词元周围的几个词很难概括其行为，自然更难被解释。

**四、人工检查：ICA成分真的"可读"吗**

统计特性再好，如果成分本身无法被人理解，也没有实用价值。研究团队为此构建了一套完整的人工标注流程和配套工具。

工具层面，他们开发了一个交互式浏览器，允许用户输入任意文本，然后查看每个词元位置上激活最强的ICA成分，以及每个成分的得分、ERF、峰度、顶级激活例子和原始文档上下文。当两个相邻层之间存在高度相似的ICA方向时，浏览器还会自动标注这种跨层连接，帮助标注者追踪跨层持续的特征。

标注流程本身遵循了一套严格的"证据控制"原则。标注者首先查看ERF，判断需要多长的上下文才能合理解读；然后检查高分例子，提出一个初步假设（工作标签）；接着专门构造应该触发该成分的提示词和匹配的"阴性对照"提示词，实际运行模型验证成分是否按预期激活；对于上下文依赖性强的成分，还需要做消融实验，逐步去掉前文，看成分何时消失。标签只有在通过这一系列验证后才会被确认。每个标签还会标注置信度（高/中/低/无法确定）和类型（词形、词汇、短语、句子、长程、全局、位置、复杂）。

为了量化ICA成分的整体可解释性，研究团队对三个模型各随机抽取了50个成分（总计150个），由专家标注者按上述流程进行标注。结果如下：150个随机成分中，127个获得了"高置信度"标签，另有8个"中等置信度"和7个"低置信度"，仅8个被标为"无法确定"。换句话说，任意取一个ICA成分，有约85%的概率能形成一个可靠的文本假设。

这些标签涵盖的类型也远不只是"这个成分对应词元X"。仅就GPT-2 Small的50个样本而言，就包括：23个词汇级成分（对应特定词或词类，如"After"、"If"、"Dead, Killed"）、8个短语级成分（如"Inverted Is, Are"、"Follows the"）、7个词形级成分（如"Letter B"、"Letter Z"、"XML tag name"）、5个句子级成分（如"Scientific research, Citation"）以及6个全局/长程/位置类成分（如"Gaming language"、"Geopolitical conflicts"、"Refer to a spokesperson"）。

为了进一步验证这些标签不是标注者自我欺骗的产物，研究团队还安排了第二位专家对127个高置信度标签进行独立审核。审核者拿到的是原始标签和成分证据，但不参与原始标注，他们独立构造对照提示词，然后给每个标签打0到10分。结果是：127个标签中121个被完整支持，6个被部分支持，没有一个被否定，其中112个得分在8分及以上。审核还发现许多原始标签可以被精化——比如"Gaming language"被细化为"video-game discourse"，"Scientific research, Citation"被细化为"scientific reference-title final period"——这表明ICA成分捕捉的模式是真实且具体的。

**五、三个案例研究：读懂ICA的"成分混合"**

抽象的统计数字再好看，都不如几个具体案例有说服力。研究团队设计了三类场景，从不同角度展示ICA成分如何组合起来解读真实文本。

第一个场景围绕多义词展开。研究团队选择了"bank"这个词，在一段段落中安排了四次出现：两次指金融机构（F1和F2），两次指河岸（R1和R2）。然后对每次出现的"bank"词元，在每一层列出激活最强的前5个ICA成分，以图表形式展示整个层序列中成分如何演化。

在嵌入层（完全不考虑上下文），四次"bank"的成分完全相同，最强的几个成分是"Bank, Mortgage"、"A Room or Place"、"Group, Team"、"Letter B"——这正是"bank"作为孤立词元所承载的全部词汇歧义。

随着层数加深，上下文开始起作用，成分混合开始分化。F1（金融含义，上文是"Maya stopped at the"，下文是"deposit a check and withdraw enough cash"）在中深层出现了"Financial"、"Organization"、"Business"、"Investment"、"Department"等金融相关成分，即便此时目标词元右侧的"deposit a check"尚未被模型读到（因为大语言模型是自左向右处理的），仅凭左侧的"stopped at the"就已经触发了部分金融解读。

R1（河岸含义，上文提到了"村庄""河流""坐在草地上"）则在同样的层出现了"Water"、"Place Name"、"Crouch, Sit"、"Body Movement"、"Area, Field"等反映物理场景的成分。值得注意的是，这不是一个干净的"河岸特征"在亮灯，而是水体、地点、姿势、动作、户外空间等多个维度的信号同时存在。

R2是最容易被误读的案例。按照人类事后阅读的理解，R2也是河岸含义（"bank of earth holding the river in place"）。但在模型处理到R2这个词元的时刻，右侧的"of earth holding the river"还未被读到，模型能看到的上文是"first a bank with counters, accounts, and vaults, then a"——这段上文恰恰明确提到了金融银行（"counters, accounts, and vaults"）并设置了一个对比结构。因此，R2词元处的ICA成分混合里确实出现了"Financial"、"Department"、"Investment"，这不是模型的错误，而是自左向右条件预测的合理产物。

这个案例传递了两个核心观点：ICA并不把多义性压缩进一个"金融vs.河岸"的单一开关，而是用多个成分的混合来描述复杂的表达状态；对任何成分组合的解读都必须严格参照目标词元处模型实际能看到的上下文，而不是人类的事后理解。

第二个场景做的是成分的时序追踪。研究团队固定了两个已标注的GPT-2 Small成分——C67（标签：Financial）和C273（标签：Arriving/Leaving for a purpose）——然后把它们的激活得分绘制在两个完整句子的所有词元位置上，形成时序曲线。

C67在"She arrived at the library to study for her exam"这个句子中得分一直接近零。在"Maya stopped at the bank before the trip, waiting in line to deposit a check and withdraw enough cash for the weekend"中，C67在"bank"词元附近开始激活，此后在"deposit"、"check"、"withdraw"、"cash"附近保持高激活。这表明C67不是一个单词"bank"的探测器，而是一个持续性的"金融语境"信号，它在一段与金融相关的叙事中弥漫性地存在。

C273在第一个句子"arrived at the library to study"处出现明显的激活峰值，尤其在"to study"这个表达目的的结构周围达到顶峰。在第二个句子中，同样在"stopped at the bank"和"waiting in line to deposit"这类"到达某地为了做某事"的结构处重复出现激活。这证明C273捕捉的是比单个词更广的结构性特征。

第三个场景完全去掉上下文，只看静态词嵌入。研究团队把词嵌入矩阵（对Qwen 3.5 2B来说包含248320行，每行是一个词元的静态表示）直接送进ICALens，然后对几组类比词对（king/queen、man/woman、father/mother、brother/sister、actor/actress）查看每个词嵌入最强的前5个ICA成分。

结果揭示了一些既熟悉又细致的结构。"king"和"queen"都激活了"Royal"成分，确认了预期的王室关联，但两者各自还有不同的额外成分——"queen"额外强激活了"Woman, Female"和"Letter Q"，"king"则有"Letter K"和形态成分。"actor"和"actress"共享了"Act"、"Film, Movie"、"Builder, Creator"等职业成分，但"actress"还额外强激活了"Woman, Female"。"brother"和"sister"则共同激活了"Friend"、"Son, Daughter"、"Parent"，说明兄弟姐妹的语义表示是通过社交关系网络而非一个单独的"兄弟妹"轴来组织的。

这种成分视角比传统的"king - man + woman ≈ queen"向量算术更具描述力：它不仅告诉你哪些维度是共享的，哪些是区分性的，还让每个维度有了可以用自然语言描述的含义，而不只是一个方向向量。

**六、ICA作为特征坐标：与SAE的量化对比**

人工标注证明了可读性，但可读性不等于实用性。一个特征方向是否有用，还需要看两件事：它是否把概念相关的信息集中在少数维度上（便于用少量特征做分类）？以及，它是否支持针对性的干预（修改少数特征就能改变模型在某类内容上的行为）？

研究团队采用了SAEBench提供的两个标准测试来回答这两个问题，并把ICA与公开SAE词典（Gemma Scope、QwenScope）、Matryoshka SAE小型变体、ITDA（一种训练开销更小的非SAE激活分解方法）以及PCA（另一种经典统计分解方法）进行了系统对比。

第一个测试是稀疏探测。具体做法是：对于一个分类任务（比如"这段文字是否属于世界新闻类别"），先按照每个特征维度在训练集上对正负样本的区分度排名，然后只取前k个最相关的维度训练一个线性分类器，在测试集上评估准确率。k从1变化到100，曲线越高越左表示特征越集中。

在GPT-2 Small、Gemma 2 2B、Qwen 3.5 2B三个模型上，ICA的稀疏探测曲线始终与公开SAE保持竞争力，远高于ITDA和PCA。在Gemma 2 2B第12层的专项对比中，研究团队还引入了Matryoshka SAE的两种小型变体（字典大小分别为512和128），发现这两种变体均低于ICA，而ICA使用的特征数量（约2304个）本来就远少于标准Gemma Scope SAE的16384个。换句话说，ICA用更少的特征实现了与大型SAE相当的概念信息集中度，并且在同等特征数量下超过了所有其他轻量化对比方法。这一结果验证了"非高斯性比方差更能定位有意义的特征方向"这个核心假设——PCA也是一种线性分解，但它追求的是方差最大化方向，在稀疏探测上始终落后于ICA。

第二个测试是目标探测扰动（TPP）。这个测试更接近实际干预：先训练一批"监控探测器"，每个探测器负责检测一类概念（如"体育类新闻"）；然后找出与该概念最相关的前N个特征维度，把它们全部清零，重建激活向量，观察目标类别的探测器得分下降多少（预期效果），以及其他类别的探测器得分变化多少（附带损伤）。好的特征表示应该让预期效果大而附带损伤小。

结果显示，当N较小（2到20个特征）时，ICA的预期效果上升速度明显快于公开SAE，同时附带损伤相对较小。这意味着，如果目标是用最少的特征修改实现对某类内容的针对性干预，ICA的紧凑基向量比SAE的庞大词典更有效率。随着N增大到500，SAE逐渐追上甚至超越ICA，原因很自然：SAE词典的特征数量远多于ICA，用更多特征自然能积累更多的相关信号。在小预算干预场景下，ICA是更高效的工具。

**七、ICA与SAE：重叠多少，有何不同**

既然两者都在激活空间里找有意义的方向，它们找到的是同一批方向吗？

研究团队对每个ICA成分，在同一模型同一层的公开SAE解码器词典里找到余弦相似度最高的那个方向，记录最大余弦值作为"重叠程度"。在三个模型上的分布显示，大多数ICA成分落在0.3到0.7的中等重叠区间，有一小部分相似度很高（大于0.8），也有一小部分相似度很低（小于0.2）。这个分布在不同层上基本保持一致，中位数约在0.4到0.5之间。

这个结果意味着，ICA和SAE之间的关系既不是"完全相同"（否则相似度应该普遍接近1），也不是"毫无关联"（否则相似度应该趋近于0），而是"部分重叠但各有独特"。ICA找到了很多SAE也认可的方向，同时也暴露了一些没有被任何单个SAE特征准确对应的成分。

研究团队还做了功能层面的验证。对于每个ICA成分，拿出其激活最高的顶级样本，看看那个余弦相似度最高的SAE特征在同一个样本上是否也会激活。重叠度低的ICA成分，其"最近邻"SAE特征在该样本上通常完全不激活；重叠度高的ICA成分，其最近邻SAE特征往往也会在同一位置激活，且激活值排名很靠前。这证明方向上的相似度确实对应功能上的重叠，不只是几何巧合。

激活模式的差异同样有启发性。研究团队把同一个句子喂给模型，在每个词元位置上分别取激活最强的ICA成分和SAE特征，把全句的激活热力图并排展示。SAE特征的激活模式普遍呈现为"尖峰型"——在一两个特定词元位置激活很高，其他位置接近零，符合SAE训练中稀疏性惩罚的预期。ICA成分的激活模式则更多呈现为"弥漫型"——在一段相关的词元序列上保持持续激活，比如C67（Financial）在"bank…deposit…check…withdraw…cash"整段中都有激活，而不只是在"bank"这一个词上。这种模式差异印证了ERF分析的结论：ICA更擅长捕捉持续性的上下文状态信号，SAE更擅长定位精确的词元级触发点。两者是互补而非竞争的关系。

**说到底，ICA在做的事情是什么**

归根结底，ICALens解决的是一个实际问题：当你面对一个刚发布的开源语言模型，没有现成的SAE工具包，但需要快速判断某几层是否编码了某类语义信息，或者想找一个轻量级的介入点来尝试激活引导实验，有没有一个当天就能用上的工具？

这项研究的答案是：有，而且比之前预想的更有用。经过工程优化的ICA可以在GPU上快速运行，无需任何梯度计算，只需要预先缓存的激活数据，就能产出一批统计上异常、多数人工可读、在概念分类和针对性干预任务上与大型SAE竞争甚至在小预算场景下占优的特征方向。

当然，ICA不是SAE的替代品。SAE的词典规模使得它能捕捉ICA完全无法触及的细粒度特征，"万个特征里有一个专门对应'法语动词变位错误'"这种分辨率是ICA根本达不到的。两者的正确定位是：ICA是快速廉价的"侦察工具"，SAE是精密昂贵的"精密仪器"。在决定是否值得为某个模型某几层花费巨大代价训练SAE之前，先跑一遍ICA，可以帮助研究者判断激活空间里是否真的有值得深挖的结构，以及哪些层最值得重点分析。

这项研究也留下了明确的待探索方向。ICA本质上是一套紧凑的正交基，维度上限等于模型隐层维度，无法做到SAE那样的过完备表示；是否有办法在ICA的统计框架下扩展到过完备字典，是一个尚未解决的问题。此外，当前的分析聚焦在残差流的"状态"上，如果把同样的方法应用到MLP输出、注意力输出或跨层的差异信号上，可能会揭示更多关于"模型在每一步做了什么"而非"当前状态是什么"的信息。至于自动化成分标注——让语言模型而非人工专家来读懂ICA成分——也是一个自然的后续方向，只是需要把ERF、顶级例子、阴性对照、上下文消融等证据都整合进提示词，才能产出可验证的假设而非表面标签。

对于普通读者而言，这项研究最直接的含义是：理解AI大脑的工具正在变得更快、更便宜、更容易获取。那扇让人既好奇又畏惧的黑匣子，正在被一点一点地打开。有兴趣深入了解的读者可以通过arXiv编号2606.11722查阅完整论文，研究团队还公开了所有拟合好的ICA检查点、交互式浏览器和人工标注数据，可以直接在浏览器里输入一段文字，看看模型内部哪些成分被激活了。

Q&A

Q1：ICA（独立成分分析）和SAE（稀疏自编码器）在解释大语言模型时有什么本质区别？

A：SAE通过训练一个神经网络，把激活信号拆解成一个超大型词典（可达数万甚至数十万特征），擅长找到精细的词元级触发点，但训练成本极高。ICA是一种经典统计方法，直接在激活数据里寻找最"不像随机噪声"的方向，无需任何梯度训练，最多得到与模型维度等数量的特征。两者捕捉到的方向存在部分重叠，但ICA更擅长持续性的上下文状态信号，SAE更擅长精确定位单个词元的触发点，是互补而非替代的关系。

Q2：ICALens的行归一化预处理为什么能提升FastICA的收敛稳定性？

A：大语言模型的残差流里存在极少数激活范数远大于普通词元的"离群点"（如序列开头的特殊符号或注意力汇聚位置），这些点会扭曲协方差矩阵的计算，让白化和旋转过程变得不稳定。行归一化在所有统计计算之前，把每个激活向量除以自身的L2范数，让所有向量落在单位球面上，从而消除了这种范数悬殊带来的干扰，让FastICA的迭代过程更平稳。实验证明，仅这一步改动就能让GPT-2 Small成功收敛的层数从2层大幅提升到8层。

Q3：有效感受野（ERF）指标如何帮助标注者更高效地解读ICA成分？

A：ERF衡量的是一个ICA成分至少需要多长的左侧上下文才能稳定激活，数值为1说明只看目标词元本身就够，数值越大说明需要越长的前文。在标注时，ERF低的成分通常只需检查目标词元和紧邻的几个词就能猜出含义；ERF高的成分则需要查看更长的文档片段，甚至做上下文消融实验。这让标注者能预先判断该用什么证据策略，避免在一个需要长上下文的成分上仅凭单个词做错误的局部解释。