亚马逊云科技研究员发现：AI大模型的"思维密码"其实只是一串0和1的符号游戏

这项由亚马逊云科技（Amazon Web Services）的研究人员独立完成的研究，以预印本形式发布于2026年6月，论文编号为arXiv:2606.12629v2，有兴趣深入了解的读者可通过该编号在arXiv平台查询完整论文。

一、当我们说AI"理解"了什么，它到底在做什么

每次你向一个聊天机器人提问，它给出了惊人准确的回答，你可能会好奇：它怎么知道的？这些人工智能模型在内部究竟存储了什么样的"知识"？这不仅仅是好奇心的问题——如果我们无法理解AI在脑子里想什么，我们就无法真正信任它，也无法在它说错话时找到原因。

长久以来，研究人员一直在用一种昂贵而复杂的方式来回答这个问题：训练专门的"解码器"程序，就像雇一批语言学家去破解一门陌生的语言，需要耗费大量时间、算力和数据。这些方法中最主流的一种叫做"稀疏自编码器"（Sparse Autoencoder），它需要喂给程序数百万条对话样本，消耗数十小时的GPU计算时间，才能勉强拼凑出AI大脑里的"词汇表"。

然而，这位来自亚马逊云科技的研究人员提出了一个让整个领域都不得不重新思考的问题：如果我们根本不需要这些复杂的解码器呢？如果AI的"思维密码"其实就摆在明面上，只要你知道怎么看，一眼就能读出来呢？

这项研究的核心发现可以用一个非常直白的比喻来理解。把AI模型的内部状态想象成一栋大楼里有成千上万个开关，每个开关要么朝上（我们记作+1），要么朝下（记作-1）。研究发现，这些开关的朝向本身就携带着语义信息——哪些开关朝上、哪些朝下，共同描述了模型当前在"想"什么概念。开关的朝向告诉你"在想什么"，而开关拨动的力度（也就是数值的大小）告诉你"有多确定"。这个框架被研究者命名为"Bag of Dims"（维度集合），其中"Dims"是"Dimensions"（维度）的缩写，指的正是这些独立的开关。

更令人吃惊的是，这个发现并不局限于语言AI，它在处理图像的视觉模型和处理声音的音频模型中同样成立。这说明，这种开关式的编码方式可能是所有使用Transformer架构进行深度学习的模型共同涌现出来的特性，而不是某种特定训练方式的产物。

二、开关的朝向到底有多重要

要理解这项研究的价值，我们需要先理解"不知道这件事会有多糟糕"。过去的主流观点是：AI模型里的知识是以一种复杂的几何方式编码的，就像一团交织缠绕的毛线球，你需要特定的工具才能把其中某一根线找出来。这种观点催生了前面提到的稀疏自编码器——一种必须经过大量训练才能使用的"毛线解码器"。

这项研究的第一个重要实验，就是直接测试"如果我们无视所有数值大小，只看开关朝向，AI还能正确预测下一个词吗？"结果令人意外。在Qwen 3.5-4B这个有约25万个词汇的语言模型上，仅凭开关朝向，模型在"预测下一个词是什么"这个任务上保留了84%的前5名准确率（即正确答案在最可能的5个选项之内的概率）。在Mistral 7B这个模型上，这个数字更高达93%。相比之下，如果把所有开关朝向随机打乱，准确率立刻跌到0%。这个对比证明：是开关的朝向在承载语义内容，而不是其他什么东西。

研究者还做了一个更彻底的测试——完全不使用任何模型内部的"解码字典"（学术上称为LM head，可以理解为模型用来把内部状态翻译成人类词汇的词典），仅仅通过数"有多少个开关朝向一致"来猜测正确答案。这种方法被称为"纯汉明评分"（Hamming scoring），汉明距离是衡量两串符号有多少位不同的一种方法，在这里就是数两个开关序列有多少个位置不一样。结果是，这种完全不用任何学习参数的方法，在三个不同架构的模型上都能把正确词汇锁定在最可能的4096个候选之内，准确率达到80%至90%。在某些模型上，这种无参数方法甚至比带解码词典的全量方法还要准，因为某些模型的词汇编码方式本身就更适合直接进行开关比较。

三、这些开关彼此独立，这一点至关重要

"Bag of Dims"框架能成立，有一个必要前提：这数千个开关必须相互独立，互不干扰。如果所有开关都互相牵连、一个开关的朝向会影响另一个开关的意义，那这个框架就会崩塌。

研究者通过测量"互信息"（Mutual Information，可以理解为"知道一个开关的状态能让我对另一个开关猜得多准"）来验证这件事。结果显示，在所有测试的语言模型中，任意两个开关之间的平均互信息都低于0.006比特（最大可能值是1.0比特）。这个数字极低，意味着知道某个开关朝上几乎完全无法帮你预测另一个开关的朝向。

更有意思的是，当这些开关处于实际对话的上下文中（而不是孤立处理单个词汇时），相互之间的独立性甚至比孤立状态下还要高——上下文信息进一步分化了各个开关的职责，而不是让它们纠缠在一起。研究者还训练了一个有能力学习开关之间复杂关系的多层神经网络来做对比测试，结果这个强大的网络与只看单个开关的简单方法相比，性能完全相同，没有任何提升。这从功能角度证实了：开关之间确实没有什么有用的交叉信息可以挖掘。

四、不需要任何训练数据，就能发现175个语义类别

这项研究最实用的部分，是一套完全不需要标注数据的特征发现方法。整个流程可以用"建立词典"来类比。

第一步是制作一张"词汇表"。研究者把模型词汇表中的每一个词（对于Qwen 3.5-4B来说约有24.8万个词）单独输入模型，每次只输入一个词，没有任何上下文，然后记录下每个词在特定层产生的完整开关状态序列。这整个过程在单块GPU上大约需要20分钟，产生的结果可以用每个开关只占1比特的方式存储，比常规存储方式节省32倍空间。对于最大的Qwen3-32B模型，整张词典只占93MB。

第二步是为每个语义类别找到"代表开关"。以"动物"类别为例，研究者选取50个典型的动物词汇作为锚点，然后对词典中的每一个开关逐一检查：这个开关的朝向，在动物词汇中是不是比在非动物词汇中更加一致？如果一个开关在50个动物词中有45个都朝上，而在所有非动物词中只有30%朝上，那这个开关就被认定为"动物类别的代表开关之一"。最终，代表某个类别的所有开关及其期望朝向，共同构成该类别的"符号原型"（sign prototype）。

第三步是用这个原型去识别新词汇。对于任何一个新词，计算它的开关状态与"动物"原型的匹配程度——有多少个代表开关的朝向与原型一致，就说明这个词有多"像动物"。整个过程不需要任何乘法或加权，只是数一数有多少个开关方向对上了。

研究者在涵盖动物、情绪、数字、代码构造、语法、职业等主题的175个语义类别上测试了这套方法，使用了四个不同的语言模型。结果是全部175个类别在四个模型上都超过了统计基准线，说明这不是偶然。在Mistral 7B上，175个类别中有175个（100%）能被单个开关以超过0.75的"分辨力"检测到，综合原型分类器的AUC（曲线下面积，0.5表示随机猜，1.0表示完美分类）达到0.993。

作为对比，研究者还训练了一个标准的线性分类器（逻辑回归探针）来做同样的任务。这个有监督训练的分类器AUC达到0.9997，而无需训练的符号原型方法达到0.9814，差距仅为0.018。更有意思的是，当研究者检查这个训练出来的分类器到底学到了什么权重，结果发现它学到的几乎就是"与原型朝向一致的开关给高分"——换句话说，训练过程重新发现了开关朝向方向，而没有学到任何更复杂的旋转变换。花了大量算力训练出来的东西，本质上只是在模仿不需要训练的方法。

研究者还验证了，即使完全不提供任何人工定义的类别，只是随机选一个词作为起点，找到它的20个"开关最相似的邻居"，就能发现1500个语义连贯的特征，成功率100%，而且每个特征只对不到0.1%的词汇"激活"，说明这些特征是精准而非模糊的。

五、原型不仅能识别单词，还能理解语境中的意思

这里有一个显而易见的疑问：以上发现都是在孤立地处理单个词汇时得到的，但真实对话中每个词都有上下文。一个词的内部开关状态在句子中会发生变化，那些在孤立状态下发现的特征还管用吗？

研究者通过两个测试来回答这个问题。第一个测试是直接测量：把类型级别的特征原型（从孤立词汇中发现的）应用到200段真实对话中的25600个词上，看看能不能正确检测。结果是，在Qwen 3.5-4B上，上下文中的AUC为0.814；在Mistral 7B上为0.856。检测效果有所下降，但仍然很高。深入分析发现，约58%的开关在孤立和上下文两种状态下保持相同朝向，另外42%发生了翻转。翻转的那42%主要是数值较小（即"不太确定"）的开关，正是这些开关在承载上下文信息，而数值大（"非常确定"）的开关则稳定地保持着词汇本身的语义身份。这非常合理：一个词的基本身份应该是稳定的，而它在特定句子中的角色和含义则由那些更灵活的开关来调节。

第二个测试更有说服力，它专门针对"一词多义"现象。研究者选取了77个歧义词，每个词准备两个句子：一个句子里这个词属于某个语义类别，另一个句子里属于另一个类别。例如，"train"（火车/训练）这个词，一个句子描述坐火车旅行（vehicle类别），另一个句子描述训练神经网络（动词类别）。测试问题是：当我们用"vehicle"（交通工具）的符号原型来给这个词的上下文表示打分时，描述坐火车的句子中的"train"打分，是不是比描述训练神经网络的句子中的"train"打分更高？

在Qwen 3.5-4B、Mistral 7B、Gemma 3-4B这三个模型上，77个测试案例中有77%至80%的情况，类别相符的上下文确实比不符的上下文打分更高，总体AUC在0.738至0.768之间。一些典型例子非常清晰：在交通工具语境下的"train"得分0.931，在神经网络训练语境下仅0.448，差距达到0.483。"owl"（猫头鹰/芝加哥某地名）在鸟类语境下得0.938，其他语境下仅0.562。这些符号原型不仅在记认"这是不是某类词汇"，还能感知上下文带来的语义偏移。

需要诚实指出的是，Qwen3-32B这个最大的模型在这个测试上表现欠佳，AUC只达到0.60至0.67，接近随机水平。研究者认为原因在于这个模型的维度数量（5120）相对于词汇量（15.2万）的比值偏低，每个维度需要承担更多的词汇区分任务，导致单个开关的类别专一性下降，上下文识别能力也随之下降。

六、翻转开关，真的能让AI"忘掉"某个概念

读到这里，你可能会想：好，这些开关确实与语义有关联，但这只是一种"读"的能力——AI的实际计算是不是真的依赖这些开关的朝向呢？也许它只是顺带记录了这些信息，实际计算走的是完全不同的路径？

为了回答这个问题，研究者做了一个干预实验。在模型生成文字的过程中，研究者在模型的特定层，把某个语义类别（比如"动物"）对应的所有代表开关的朝向全部翻转——原本朝上的改成朝下，朝下的改成朝上。开关的"力度"（数值大小）保持不变，只有方向变了。然后观察模型输出中与该类别相关词汇的预测概率如何变化。

结果非常干净利落。在四个测试的语言模型上，翻转动物类别的符号模式后，与动物相关词汇的平均预测得分下降了5到24分（在Gemma 3-4B上下降了整整19到24分）。相比之下，有三个对照组：第一，"朝向"对照——把同样那批开关强制朝它们原本期望的方向设置（这等于什么都没改变），结果没有任何变化。第二，"随机"对照——随机翻转同等数量的开关，结果没有有意义的变化。第三，"不相干"对照——翻转一个完全不同类别（比如"颜色"）对应的开关，但去除与"动物"重叠的部分，结果依然没有变化。

这三个对照组共同证明：真正产生效果的是翻转特定类别的符号模式，而不是翻转开关的力度，也不是翻转任意开关，更不是翻转别的类别的开关。开关的朝向就是AI真正在计算的东西，不是旁观者，是主角。

研究者还发现这个干预效果有一个有趣的深度依赖性：翻转必须在模型的晚期层才有效，在中间层翻转的话，后续层会根据早期的上下文信息把被破坏的状态"修复"回来。对于64层的Qwen3-32B，在第48层翻转没有效果，但在第60层翻转就有效。换句话说，一个特征在很多层都可以被读出来，但只有接近输出的层才是真正的"关键决策点"。

七、这些开关的朝向是从哪里写进去的

研究到这里已经建立了"读"的图景，但还有一个问题没解答：这些开关的朝向是被谁、以什么方式写进来的？

在Transformer架构中，每一层都有一个"前馈神经网络"（Feed-Forward Network，FFN），可以理解为专门负责处理和存储知识的模块，与负责"传递注意力"的注意力机制平行存在。每个FFN内部有成千上万个"神经元"，每个神经元通过一列权重向残差流（可以理解为各层传递信息的主干通道）写入信息。

研究者检查了每个神经元的"写入向量"（down_proj权重矩阵的列）与发现的特征原型之间的符号一致性：这个神经元写入的每一个开关，朝向与该特征期望的朝向一致吗？

在Qwen 3.5-4B上，有20.1%的神经元与至少一个特征原型有0.70以上的朝向一致性；当取前200个最匹配的神经元，用多数投票（超过一半神经元同意就算一票）来重建特征原型时，99.9%的特征原型都能被重建出0.70以上的准确率。对完全相同的测试在随机权重模型上运行，0个神经元能达到这个阈值，0个特征被重建出来。这证明，这种写入结构是完全由训练产生的，不是架构本身的性质。

更进一步，研究者还检查了FFN内部的"激活值"——神经元被触发的程度，这是在权重本身被读取之前，输入信息与神经元内部结构交互产生的中间结果，经过了一个非线性的门控函数（SwiGLU）。按理说，这个非线性变换可能会破坏开关式的结构，因为它把两个线性运算的结果相乘，理论上可以产生任意复杂的符号模式。但实验发现，FFN激活值空间里，用完全相同的方法也能以几乎相同的准确率检测到所有175个语义类别，与残差流的检测能力基本持平。这意味着开关式的语义结构并不是到了残差流才出现的——它在FFN内部就已经存在，穿过非线性门控，仍然保持完整。

研究者还测试了注意力机制的"键"（K）和"值"（V）向量——这些是注意力机制用来决定"关注哪里"（键）和"从那里取什么信息"（值）的计算结果，经过了额外的矩阵变换和位置编码。结果是，175个语义类别中的全部175个在键和值空间中都超过了统计基准线。这意味着，连注意力机制的路由决策，可能也是基于开关式语义符号进行的。

八、图像和声音，同样的规律同样有效

从语言模型出发，研究者把整套方法迁移到了视觉和音频领域。

在视觉领域，研究者对比了两个架构完全相同的模型：DINOv2（通过自监督学习训练，从未见过任何类别标签）和ViT-Base（通过监督学习训练，专门学习ImageNet的1000个类别分类）。两个模型都处理同一批1000张ImageNet验证图片。

结果是，DINOv2在12个大类（如灵长类、猫、昆虫、鱼等）中有9个能被开关模式检测到（超过0.70的分辨力），ViT-Base有11个。两个模型都显示出这种结构，但监督训练使这种结构更加清晰：ViT-Base每个类别有更多的高分辨力开关，分类更精准。这个对比说明，开关式语义编码是自监督训练就已经存在的基础性特征，监督学习只是把它锐化了，而不是从无到有创造了它。用纯符号朝向做最近邻图像检索（即：用开关状态的汉明距离来衡量两张图的相似度，完全不用任何数值大小），DINOv2达到93%的动物/非动物分类准确率，ViT-Base达到96%。

在音频领域，研究者用音频频谱变换器（AST）模型处理ESC-50数据集（2000段环境音频，50个类别，每类40段）。结果是50个类别全部超过0.70的分辨力，其中47个超过0.80，这是所有测试模型中最高的成绩。最容易区分的是"火车声"（分辨力0.970，69个代表开关）和"雷声"（0.961，79个代表开关），这并不奇怪——这些声音的频谱特征非常独特。

这些跨模态的结果指向一个统一的结论：开关式语义编码不是语言模型特有的产物，而是Transformer架构在经过梯度下降训练之后普遍涌现出来的特性，不论训练的是语言、图像还是声音，不论训练目标是预测下一个词、自监督蒸馏还是分类，这个结构都会出现。

九、这项发现的边界在哪里

任何诚实的研究都应该告诉你它的局限性，这项研究也不例外。

在模型规模方面，测试覆盖了4B到32B参数规模的语言模型，以及约8600万参数的视觉和音频模型。70B以上的超大模型是否还保持同样的规律，目前未知，不过从4B到32B没有观察到性能下降的迹象，是一个正面信号。

在干预方向上，翻转开关只能"抑制"某个概念，不能"注入"某个概念。因为数值较大的高置信度开关本来就已经朝着正确方向，强制把它们设置为正确方向相当于没有改变。要真正注入一个概念，需要的是增加对应开关的数值（力度），而不是翻转方向——这对应于研究者所说的"量级操作"（magnitude operation），论文中没有提供这个方向的具体工具。

在深度依赖方面，研究者只完整描述了"在哪一层读出最好"和"需要在哪一层干预才有效"这两个层的关系，但没有系统地描述整个64层模型中每一层的完整行为图谱，这留给了未来的工作。

在词汇量与维度比例方面，Qwen3-32B拥有15.2万词汇但只有5120个维度，每个维度需要服务更多的词汇，导致单维度分辨力下降，进而影响上下文语义读取能力。这个比值（D/V）比其他模型低得多，是该模型在多义词识别上表现不如其他模型的根本原因。

说到底，这项来自亚马逊云科技的研究改变了一个我们以为早就解决了的问题的答案。我们以为理解AI需要复杂的工具、大量的数据、昂贵的算力，但这项研究说：不，你只需要一次前向传播（让模型处理一次输入），然后看看哪些开关朝上、哪些朝下，就能读出它在想什么。那些花了大量时间训练出来的分类器，最终学到的也不过是"看开关朝向"，只是用更复杂的方式重新发现了这个简单的事实。

归根结底，这让AI的"可解释性"从一个需要专门实验室才能做的研究课题，变成了一个理论上任何人都可以在单块GPU上完成的工程任务。对于关心AI安全的人来说，这意味着实时监控AI模型是否在"想"某些危险概念，现在有了一种不需要昂贵基础设施的实现路径。对于想理解大模型如何工作的研究者来说，这意味着问题从"怎么找到正确的旋转变换"变成了"把每一个开关都标注清楚它在每一层编码了什么"——这是一个规模大但方向明确的工程任务，而不是一个没有方向的数学难题。

有兴趣深入了解这项研究所有细节的读者，可以通过arXiv编号2606.12629v2查阅完整论文。

Q&A

Q1：Bag of Dims方法和传统的稀疏自编码器相比，在实际使用上有什么区别？

A：稀疏自编码器需要喂入数百万条对话样本、消耗数十小时GPU时间训练一个单独的解码模型，才能分析一个AI模型的语义特征。Bag of Dims方法只需要对每个词汇做一次单独的前向传播（约20分钟），之后所有分析都通过计算开关符号的匹配数量完成，不需要任何梯度计算，整个结果文件只有93MB。在175个语义类别的检测任务上，两者性能差距仅0.018 AUC，但后者不需要任何训练。

Q2：把AI开关朝向翻转之后，模型会彻底"忘掉"某个概念吗？

A：不是彻底忘掉，而是在那次生成过程中明显抑制了相关词汇的预测概率，效果非常显著（得分下降5到24分），而且这个效果是概念特异的。但有两个限制：第一，翻转只能抑制，不能注入新概念；第二，必须在模型靠近输出的晚期层翻转才有效，在中间层翻转会被后续层"修复"。对于64层的模型，可能需要在第60层附近才能产生稳定效果。

Q3：这种开关模式是AI模型被专门训练出来的，还是自然涌现的？

A：研究者在随机初始化的模型（架构相同但权重随机）上做了完全相同的测试，结果是175个语义类别中0个能被检测到，1500次无监督特征发现也没有产生任何语义连贯的特征。而在自监督训练的图像模型DINOv2中，没有使用任何类别标签的情况下，12个视觉大类中有9个能被检测到，说明这种结构在多种训练方式下都会自然涌现，但它确实需要训练过程来产生，不是架构本身固有的。