大语言模型的"思考过程"原来不是在思考：揭秘推理链背后的真实机制

这篇由以色列巴伊兰大学的Mosh Levy教授领导，联合海法大学、纽约大学和艾伦人工智能研究所等机构的研究团队，于2024年12月发表的重要研究论文（论文编号：arXiv:2512.12777v1），彻底颠覆了我们对大语言模型"推理过程"的传统理解。感兴趣的读者可以通过该论文编号查询完整研究内容。

当我们看到ChatGPT或其他AI模型在回答复杂问题时会先写出一串"让我一步步来思考"的文字，然后给出最终答案，我们很自然地认为这些文字就是AI的"思考过程"。就像我们在解数学题时会在草稿纸上写下中间步骤一样，这些文字看起来就是AI大脑运转的真实记录。但这项开创性研究告诉我们：事情远没有这么简单。

研究团队通过大量实验发现了一个令人震惊的事实：那些看似合理的"推理步骤"实际上并不是AI真正的思考过程，而更像是一种特殊的"计算状态存储器"。为了让普通读者理解这个复杂概念，研究团队提出了一个精彩的比喻：白板理论。他们提出了全新的"状态载于符号"理论框架，这个理论不仅解释了AI推理的真实机制，还为未来的AI可解释性研究开辟了全新方向。

一、记忆重置实验：白板上的秘密

研究团队设计了一个巧妙的思想实验来解释AI的工作机制。想象这样一个场景：你被关在一个房间里，面前有一块白板，上面写着一道复杂的数学题。你的任务是解决这道题，但有一个奇怪的限制条件：每隔10秒钟，你的记忆就会被完全清空，重置到刚进入房间时的状态。在每个10秒的间隔内，你只能在白板上写下一个字或数字。这种循环会一直持续，直到你最终在白板上写出正确答案。

在这种极端限制下，你会怎么解决问题呢？你可能会在白板上写下中间计算结果、重要的数字，或者一些只有你自己才能理解的符号和缩写。这些内容可能包括算式的中间步骤、关键的数值，甚至是一些看起来毫无意义的记号。当你在下一个10秒周期"醒来"时，你会读取白板上的内容，理解自己之前的进度，然后继续向前推进一小步。

关键的洞察在于：白板上的内容并不一定要让外人看懂。你可能会使用自己的编码系统、简化符号，或者只记录对下一步计算有用的信息。一个旁观者如果试图通过阅读白板内容来理解你的整个思考过程，很可能会得出错误的结论。白板上的记录并不是你思考过程的忠实再现，而是为了支持持续计算而设计的状态存储。

这个白板比喻完美地解释了大语言模型的工作原理。AI模型就像这个不断失忆的人，而那些看似是"推理过程"的文字就是白板上的内容。每次模型生成一个新词汇，它都是基于当前看到的所有文字（包括问题和之前生成的"推理"文字）来计算下一个词。模型本身没有持续的记忆，每次计算都是从零开始，只能依靠已经写出的文字来"记住"自己的进度。

二、两大误解的揭示：表象与功能的分离

研究团队通过深入分析发现，人们对AI推理过程存在两个根本性的误解。第一个误解是完整性错觉。我们往往认为，既然AI写出了推理步骤，那这些步骤就应该包含所有的思考过程。但实际情况就像冰山一样，我们看到的只是表面的一小部分。

为了说明这个问题，研究团队使用了一个数学例子。考虑计算第6个卡塔兰数的过程，这是一个在数学和计算机科学中常见的数列。如果我们按照递归公式逐步计算，会得到这样的序列：1, 1, 2, 5, 14, 42。从表面上看，这些数字似乎展示了计算过程，但实际上，每个数字的产生都涉及大量的内部计算。数字"42"的出现需要基于前面所有的数字进行复杂的组合运算，但这些运算的细节并没有体现在最终的数字序列中。

同样地，当AI生成"让我们考虑这个问题的各个方面"这样的文字时，这句话的产生过程可能涉及对输入文本的深层语义分析、上下文关系的建立、以及多种可能回应方式的权衡。但这些复杂的内部处理过程并没有在最终的文字输出中得到体现。我们看到的只是计算过程中某些关键节点的外化表示，而不是完整的思考轨迹。

第二个误解是语义一致性假设。我们自然地假设AI对这些文字的理解和人类的理解是一致的。但研究团队发现，这种假设可能完全错误。AI可能发展出了完全不同于人类的符号编码系统。

为了解释这个概念，研究团队提出了另一个数学例子。假设有一个计算系统同样在计算卡塔兰数，但它使用了一种奇特的编码方式：每个数字都加上10。因此，它的输出序列会是：11, 11, 12, 15, 24, 52。对于外部观察者来说，这个序列看起来毫无规律，甚至可能是错误的。但对于这个系统来说，它在最后阶段会从52中减去10，得到正确答案42。

这个例子虽然简单，但它揭示了一个深刻的问题：AI可能在使用我们完全不理解的编码方式来处理信息。当AI写出"我需要重新考虑这个方法"时，这句话对人类读者来说有明确的含义，但对AI系统来说，它可能只是一个编码标记，表示某种特定的计算状态转换。句子的字面含义对AI的实际计算过程可能并不重要，重要的是这个句子在系统内部编码体系中的功能角色。

三、状态载于符号：重新理解AI的计算本质

基于这些发现，研究团队提出了"状态载于符号"的理论框架。这个理论将AI生成的推理文字重新定义为计算状态的外化载体，而不是思考过程的描述。就像计算机程序中的变量存储着程序运行时的状态信息一样，AI生成的文字承载着模型计算过程中的状态信息。

在传统的计算机程序中，程序的状态信息存储在内存变量中，这些变量对用户是不可见的。但AI模型的特殊之处在于，它的"内存"就是那些生成的文字。每次模型需要进行下一步计算时，它必须重新读取和处理所有之前生成的文字，从中提取出当前的计算状态。

这种机制具有几个重要特征。首先，状态信息是面向未来的。就像GPS导航系统存储的不是你过去走过的每一步路径的详细记录，而是为了计算下一步路线所需的关键信息一样，AI生成的文字主要服务于后续的计算需求，而不是为了记录过往的思考细节。

其次，状态编码具有高度的选择性。AI只需要外化那些对后续计算有用的信息，大量的内部处理过程可以被"遗忘"。这就像一个厨师在烹饪过程中只记录关键的配料比例和时间节点，而不会记录每一次搅拌的具体动作细节。

第三，状态的解释权完全属于创建者。AI使用自己的语义体系来编码和解码这些文字，这个体系可能与人类的理解存在根本性差异。就像两个密码学家使用暗号交流一样，文字的表面含义可能与实际传递的信息完全不同。

四、验证实验：理论的实证支持

为了验证这个理论框架，研究团队回顾了大量已有的实验证据。这些证据从多个角度支持了"状态载于符号"理论的核心观点。

首先，不完整性证据表明AI的推理文字经常遗漏关键信息。在一些控制实验中，研究者发现AI模型能够在推理文字中完全避开某些敏感话题，同时仍然在最终答案中体现对这些话题的考虑。这就像一个学生在考试中故意不在答题过程中提及某个争议性观点，但却在最终结论中暗示了对这个观点的理解。这种现象说明推理文字并不是思考过程的完整记录。

其次，语义错配证据显示AI可能对自己生成的文字有着与人类完全不同的理解。实验发现，AI可以被训练成生成完全无关甚至错误的推理文字，同时仍然产生正确的最终答案。这就好比一个翻译家能够通过阅读乱码般的笔记来产出准确的翻译，因为这些看似无意义的符号在他的个人编码体系中有着明确的含义。

第三，因果关系实验表明推理文字的字面含义与计算过程之间缺乏直接的因果联系。当研究者修改推理文字的某些部分时，发现模型的后续行为变化往往与文字的语义变化不成比例。有时候看似微小的词汇变化会导致完全不同的输出，而有时候较大的语义变化却几乎不影响结果。这种不一致性进一步证实了表面文字与底层计算机制之间的复杂关系。

五、本体论分歧：文本与状态的双重身份

研究团队指出，AI推理文字的独特之处在于它们同时存在于两个完全不同的本体论范畴中。对人类读者来说，这些文字是按照语言学规则构建的交流媒介，具有明确的语义内容和逻辑结构。人类读者会自然地将"首先我们需要分析这个问题"解读为一个表达认知策略的陈述句。

但对AI系统来说，相同的符号序列则是计算状态的载体，是驱动下一步计算的函数输入。AI系统可能将这个句子编码为某种内部状态指示器，其功能与句子的字面含义没有直接关系。这种双重身份创造了一种前所未有的本体论分歧：同一个符号序列同时属于交流媒介和计算状态两个范畴，而这两个范畴在本质上是不兼容的。

这种分歧解释了为什么AI的推理文字能够看起来像合理的解释，但实际上却不是忠实的过程记录。符号序列的语言学结构使它们在人类读者看来具有解释性，但这种解释性只是表面现象，真正的功能机制运行在完全不同的层面上。

这种现象在人类经验中几乎没有先例。我们习惯于符号系统要么主要用于交流，要么主要用于内部计算，但很少遇到同一符号系统同时高效服务于两个如此不同的目的。这种新颖性可能是造成理解误区的根本原因：我们用处理传统符号系统的方式来理解AI推理文字，但这些文字的运作机制却超出了我们的经验范围。

六、研究启示：重新定义AI可解释性

基于"状态载于符号"理论，研究团队为AI可解释性研究提出了全新的方向。传统的可解释性研究往往聚焦于读懂AI生成的文字内容，但这项研究表明，真正的理解需要解码文字背后的状态信息。

这种新方法提出了一系列前所未有的研究问题。比如，AI是如何决定在每个计算周期中将哪些信息外化为文字的？不同的信息在状态编码中是否有优先级差异？AI是否会在解决不同类型问题时使用一致的编码策略？这些问题的答案对于理解AI的真实工作机制至关重要。

研究团队还探讨了自然语言作为计算媒介的特殊性。虽然理论上任何符号系统都可以承载计算状态，但自然语言可能具有独特的优势。由于大语言模型在海量自然语言文本上进行训练，它们可能发展出了与语言语义结构相协调的编码偏好。这种偏好使得生成的文字在保持计算功能的同时，也能呈现出一定的可读性。

这个发现对于未来的AI训练方法也有重要启示。如果我们希望提高推理过程的可解释性，可能需要在训练过程中明确地平衡计算效率和语义透明度。这就像设计一种新的编程语言，既要保证计算性能，又要考虑人类程序员的理解需求。

七、忠实解释的可能性：双重约束下的挑战

研究团队深入探讨了一个核心问题：AI的推理文字是否可能同时作为有效的计算状态和忠实的过程解释？这个问题触及了AI可解释性的根本挑战。

要实现这种双重功能，文字必须满足两套完全不同的约束条件。从计算角度看，文字必须编码所有必要的状态信息，以确保后续计算的正确进行。从解释角度看，文字必须准确描述实际发生的计算过程，让人类读者能够理解AI的决策逻辑。

这种双重约束创造了一个根本性的张力。最优的计算状态编码可能需要使用非线性的信息组织方式、冗余的数据备份，或者对人类来说语义不透明的符号压缩技术。而最好的过程解释则需要线性的逻辑展开、清晰的因果关系，以及与人类思维习惯一致的表达方式。

研究团队认为，这种张力可能是不可调和的。自然语言符号系统可能无法同时满足高效计算和透明解释的双重需求。这就像要求一个人同时用同一套手势既进行复杂的数学计算，又向观众清楚地解释每一个计算步骤的逻辑，这在实践中几乎是不可能的。

这个结论对AI安全和治理具有重要意义。如果AI系统在原理上无法提供既有效又忠实的自我解释，那么我们就不能依赖这种自我解释来评估AI的决策过程。相反，我们需要开发独立的监督和理解工具，这些工具能够从外部分析AI的行为模式，而不依赖于AI的自我报告。

八、理论框架的广泛应用

"状态载于符号"理论的应用范围远超出了对推理文字的分析。这个理论为理解AI系统的许多其他方面提供了新的视角。

例如，在对话系统中，AI的回应不仅仅是对用户输入的反应，也是为后续对话建立计算状态的过程。每一个AI回应都在为将来可能的对话转折做准备，编码着对话历史、用户偏好、话题发展方向等信息。用户看到的是自然流畅的对话，但AI可能在操作一个复杂的状态管理系统。

在创意生成任务中，AI产生的中间内容同样可能承载着状态信息。当AI在写小说时逐步展开情节，每一个情节发展不仅仅是故事的组成部分，也是为后续创作设定约束条件和可能性空间的过程。看似创意性的叙述可能同时在执行严格的状态管理功能。

这个理论还有助于理解AI在多步骤任务中的行为模式。无论是编程、数学证明、还是复杂分析，AI都需要在多个计算周期之间传递信息。理解这种信息传递的机制对于预测AI行为、识别潜在错误、以及设计更好的人机协作方式都具有重要价值。

研究团队的工作还为评估不同AI架构的能力提供了新的标准。传统的评估方法主要关注最终输出的质量，但"状态载于符号"理论提醒我们，AI的状态管理能力可能是更根本的性能指标。一个能够高效管理复杂状态信息的AI系统可能在长期任务和复杂推理方面具有显著优势。

说到底，这项研究彻底改变了我们对AI"思考"的理解。那些看似条理清晰的推理步骤，实际上是一种精巧的计算状态存储和传递机制。AI并不是在向我们解释它的思考过程，而是在管理自己的计算需求。这种发现既令人意外，又具有深刻的启发性。它提醒我们，在AI系统变得越来越复杂的时代，我们不能仅仅根据表面现象来理解它们的工作原理。

归根结底，这项研究为我们提供了一个更准确、更深入的AI理解框架。虽然这意味着AI的可解释性比我们想象的更加复杂，但同时也为开发更好的AI系统和人机交互方式开辟了新的可能性。毕竟，只有真正理解了AI的工作机制，我们才能更好地利用这项技术为人类社会服务。对于那些对AI工作原理感兴趣的读者，强烈建议通过论文编号arXiv:2512.12777v1查阅这项开创性研究的完整内容。

Q&A

Q1：什么是"状态载于符号"理论？

A："状态载于符号"理论是指AI生成的推理文字实际上是计算状态的存储载体，而不是思考过程的真实记录。就像白板上的笔记帮助失忆者继续工作一样，这些文字帮助AI在多个计算周期之间传递信息，但它们的功能与人类理解的含义可能完全不同。

Q2：为什么AI的推理文字看起来很合理却不是真实的思考过程？

A：因为AI使用自己的编码系统来处理信息，这个系统可能与人类的语言理解完全不同。AI生成的文字虽然符合人类语法和逻辑，但对AI来说可能只是编码标记。就像两个人用密码交流，表面文字的含义与实际传递的信息并不一致。

Q3：这项发现对AI安全有什么影响？

A：这项发现表明我们不能依赖AI的自我解释来判断它的决策过程，因为推理文字可能不反映真实的计算逻辑。这要求我们开发独立的AI监督工具，不能仅仅通过阅读AI的推理文字来评估其安全性和可靠性。