AI挑战多步推理的秘密：MBZUAI团队揭示大模型"思考深度"的突破之路

这项由阿联酋穆罕默德·本·扎耶德人工智能大学(MBZUAI)、俄罗斯莫斯科物理技术学院、俄罗斯人工智能研究所以及英国伦敦数学科学研究所的国际研究团队完成的研究，于2025年1月发表在arXiv预印本平台上。有兴趣深入了解的读者可以通过论文编号arXiv:2508.16745访问完整论文。这个跨国合作的研究团队包括来自MBZUAI的Ivan Rodkin、Daniil Orel等多位学者，以及来自俄罗斯和英国顶尖研究机构的专家们。

当我们看到OpenAI的o1模型在数学奥林匹克竞赛中闯进前500名，或者DeepSeek R1在国际信息学奥林匹克中取得优异成绩时，很容易以为人工智能已经完全掌握了复杂推理的艺术。然而，就像一个看起来很会做菜的朋友可能只是背熟了几道招牌菜的菜谱一样，这些令人印象深刻的表现背后隐藏着一个关键问题：AI模型到底是真正学会了推理，还是仅仅在重复记忆中的模式？

这个问题困扰着整个人工智能领域。当一个AI系统成功解决了复杂数学题，我们很难判断它是真的理解了数学原理，还是只是从训练数据中记住了类似题目的解法。这就像区分一个学生是真正掌握了数学概念，还是仅仅背熟了题型和答案一样困难。

为了彻底搞清楚这个问题，研究团队设计了一个巧妙的实验环境，就像为AI模型创造了一个完全陌生的"推理游乐园"。他们选择了一维细胞自动机作为测试平台，这个听起来复杂的概念其实可以用一个简单的比喻来理解：想象有一排灯泡，每个灯泡要么亮着要么暗着，而每盏灯的下一秒状态都由它和邻居灯泡的当前状态按照某个固定规律决定。这个规律就像游戏规则一样，一旦确定就会一直适用。

这个设计的精妙之处在于，研究团队确保训练时使用的规则和测试时使用的规则完全不同，就像让学生用从未见过的数学公式来解题一样。这样一来，如果AI模型能成功预测未来的状态，那就证明它真正学会了从观察中推导规律并应用规律的能力，而不是简单的记忆重现。

研究团队面临的核心挑战可以概括为三个基本问题。首先，AI模型展现的推理能力究竟是真正的泛化能力，还是巧妙的记忆复现？其次，当推理需要的步骤越来越多时，任务难度如何变化？最后，模型的架构设计、训练目标和推理过程会在多大程度上限制其推理能力？

为了回答这些问题，研究团队构建了一个comprehensive的测试框架，包含四种不同的任务变体。第一种叫做"轨道-状态"任务，就像给模型展示一个灯泡序列的变化历史，然后要求它预测若干步之后的状态。第二种是"轨道-轨道"任务，不仅要预测最终状态，还要给出每一步的中间过程，这就像要求学生不仅给出答案，还要展示完整的解题步骤。

第三种任务更加直接，叫做"轨道-状态和规则"，要求模型在预测未来状态的同时，还要明确说出它推导出的规则是什么。这就像要求学生在解题的同时，还要说明自己用了什么数学定理。最后一种任务则是"规则和轨道-状态"，直接告诉模型规则是什么，只要求预测结果，这相当于给学生提供公式，看他们能否正确应用。

一、深度与推理能力的神秘联系

研究结果揭示了一个令人意外的现象：几乎所有的神经网络架构，包括Transformer、LSTM、Mamba状态空间模型和增强记忆Transformer(ARMT)，都能够相当准确地预测下一步状态。这就像让不同的学生用不同方法解简单题目，大家都能答对一样。然而，当要求进行多步推理时，情况发生了戏剧性变化。

以4层的GPT-NeoX模型为例，它在单步预测上能达到95%的准确率，但当需要预测两步之后的状态时，准确率骤降到40%，而三步和四步预测的准确率更是跌破25%。这种急剧下降让人联想到爬山时的体力极限，看起来轻松的单步变成了不可逾越的障碍。

更有趣的是，研究团队发现这种限制与模型的"深度"密切相关。在神经网络中，深度指的是信息处理的层数，就像一个复杂决策需要经过多个思考环节一样。实验证明，增加模型的深度比增加其"宽度"（每层的参数数量）更能改善多步推理性能。

当研究人员将Transformer的层数从4层增加到12层时，单步和两步预测的准确率很快达到饱和，但三步预测能力持续改善，而四步预测仍然表现糟糕。这就像增加思考时间对解决复杂问题更有帮助，但面对超出认知极限的问题时，再多时间也无济于事。

相比之下，增加模型宽度的效果要微弱得多。将embedding维度从64增加到512，各个推理深度的性能提升都很有限。这个发现强化了一个重要观点：对于多步推理任务，计算的深度比广度更为关键。

二、突破深度限制的创新途径

面对固定深度模型的局限性，研究团队探索了三种主要的解决方案，每种都像是为思考过程装上不同类型的"增压器"。

第一种方法是段落级循环机制，以ARMT模型为代表。这种方法就像让模型在处理长文本时能够"回头看看"之前的内容，而不是只能线性地从头到尾处理。实验结果显示，ARMT能够将推理能力扩展到两步，但仍然无法突破更深层次的限制。这种改善可能源于其段落分块处理方式，迫使模型将规则表示和状态表示分离，从而能够生成中间状态的隐藏表示。

第二种方法是自适应计算时间（ACT），这个概念听起来复杂，但可以用一个简单的比喻来理解：就像让模型自己决定某个问题需要思考多长时间。对于简单问题，模型可以快速给出答案；对于复杂问题，模型可以进行更多轮次的内部处理。ACT为Transformer模型提供了大约一个额外的有效推理步骤，但收益在三步以上开始递减。

第三种方法是强化学习训练，特别是使用组相对策略优化（GRPO）方法。这种方法的巧妙之处在于，它不需要中间步骤的监督信号，只需要知道最终答案是否正确。就像让学生自由发挥解题思路，只要最终答案对了就给奖励。令人惊喜的是，经过GRPO训练的模型能够达到三步推理的可靠性能，这证明了模型能够学会在生成最终答案之前进行内部"思考"。

三、监督信号的魔法效应

当研究团队引入显式的推理监督时，效果立竿见影，就像给学生提供了详细的解题步骤指导一样。他们测试了两种主要的监督方式：轨道-轨道（O-O）训练和思维链（CoT）训练。

轨道-轨道训练要求模型预测所有中间步骤，而不仅仅是最终结果。然而，单纯的O-O训练并没有带来预期的改善，甚至在某些情况下表现更差。这就像强迫学生写出每一个计算步骤，但如果没有正确的指导，反而可能让学生更加困惑。

但是，当O-O训练与自适应计算时间结合时，效果显著改善，超越了基线模型和仅使用ACT的版本。这种组合就像是为学生提供了既要写详细步骤，又给足够时间思考的最佳学习环境。

最令人印象深刻的是思维链训练的效果。在这种训练方式下，GPT-NeoX和ARMT模型都能成功进行四步预测，准确率接近完美。思维链训练的核心思想是让模型学会"大声思考"，即在生成最终答案之前，先生成解决问题的中间推理过程。这种方法将复杂的多步预测问题转化为逐步的下一词预测任务，大大降低了任务难度。

四、跨领域验证：群乘法的启示

为了验证研究发现的普遍性，团队还在群乘法基准上进行了测试。群乘法任务要求模型给出序列中每个元素与之前所有元素的累积乘积，这是另一个需要多步计算的推理任务。

结果与细胞自动机实验高度一致。GPT-NeoX和Mamba模型解决较长序列需要更多层数，而具有循环特性的模型（ARMT和LSTM）能够用恒定的层数解决不同长度的任务。LSTM在这个任务上表现特别出色，仅用一层就能解决问题，这得益于其天然的序列处理能力。

更重要的是，添加自适应计算时间或关联记忆机制都能显著减少所需的模型深度，这进一步证实了研究团队在细胞自动机上的发现具有更广泛的适用性。

五、实际应用的深远意义

这些研究发现对大型语言模型的发展和应用具有重要启示。首先，它们揭示了当前模型在多步推理方面的根本局限性。即使是在相对简单的规则推导任务上，固定深度的模型也会遇到明确的性能瓶颈。

对于实际应用而言，这意味着单纯增加模型参数可能不是提升推理能力的最佳途径。相反，开发能够动态调整计算深度的架构和训练方法可能更有前景。自适应计算时间、强化学习训练和思维链方法都展现了突破固定深度限制的潜力。

研究还强调了中间步骤监督的重要性。在现实应用中，很多数据集很少包含长期、多步推理的监督信号，因此像GRPO这样只依赖最终答案正确性的方法显得特别有价值。这为开发能够自主学习复杂推理的AI系统开辟了新路径。

从更宏观的角度来看，这项研究为理解AI系统的认知极限提供了重要参考。它表明，真正的推理能力需要的不仅是大量参数和数据，还需要适当的架构设计和训练策略来支持深层次的思维过程。

六、技术实现的细节洞察

在具体实现层面，研究团队采用了20位宽度、邻域半径为2的一维细胞自动机配置，这意味着每个位置的下一状态由其周围5个位置的当前状态决定。由于有2^5=32种可能的5位输入，每个规则可以用32位字符串表示，总共有约43亿种可能的规则。

训练数据集包含95万个实例，测试集包含10万个实例，严格确保训练和测试使用完全不同的规则集。这种设计杜绝了模型通过记忆训练数据来"作弊"的可能性。

在评估指标方面，研究团队对状态预测使用精确匹配（全对或全错），对规则预测使用位级准确率（考虑到某些规则转换可能在观察序列中未出现）。这种严格的评估标准确保了结果的可靠性。

模型架构方面，基线配置使用4层、128维的小规模模型，这样的设计既能进行充分实验，又不会因为计算资源限制而影响研究深度。自适应计算时间的最大迭代次数设定为4，这个选择基于任务的推理深度需求。

七、未来发展的广阔前景

这项研究为AI推理能力的发展指明了几个重要方向。首先，开发更好的深度可扩展架构变得至关重要。传统的固定深度模型在面对变化的推理需求时显得力不从心，而能够根据任务复杂度动态调整计算深度的模型将具有更大优势。

其次，无需中间监督的推理学习方法具有巨大潜力。GRPO等强化学习方法展现的能力表明，AI系统可能无需人类提供详细的推理步骤就能学会复杂推理。这对于处理人类难以提供完整监督信号的复杂任务特别有价值。

再者，思维链等显式推理方法的成功提示了一个重要方向：让AI系统的推理过程更加透明和可控。这不仅能提升性能，还能增强AI系统的可解释性和可信度。

最后，跨任务的推理能力泛化研究需要更多关注。虽然本研究在细胞自动机和群乘法两个任务上得到了一致结果，但这些发现在更广泛的推理任务中的适用性仍需进一步验证。

说到底，这项研究就像为AI推理能力的发展提供了一张详细的"体检报告"。它不仅诊断出了当前模型的"健康问题"，还为"治疗方案"提供了清晰的指导。虽然完美的AI推理系统还需要时间来实现，但这项工作为我们指明了前进的方向，让我们对未来AI系统的推理能力充满期待。

归根结底，真正的智能不仅在于记住已知的答案，更在于面对未知问题时能够运用原理进行推理。这项研究揭示的深度与推理能力的关系、监督信号的重要作用，以及突破固定限制的各种方法，都将为构建更智能、更可靠的AI系统奠定重要基础。对于每一个关心AI发展的人来说，这些发现都值得深入思考和进一步探索。有兴趣深入了解技术细节的读者，可以通过arXiv:2508.16745获取完整的研究论文。

Q&A

Q1：一维细胞自动机是什么？为什么要用它来测试AI推理能力？

A：一维细胞自动机就像一排灯泡，每个灯泡的下一秒状态由它和邻居灯泡的当前状态按固定规律决定。研究团队选择它是因为可以确保训练时和测试时使用完全不同的规律，这样AI模型必须真正学会推导和应用规律，而不能靠记忆来"作弊"。这就像让学生用从未见过的数学公式解题，能真正测试推理能力而非记忆能力。

Q2：为什么增加模型深度比增加宽度更能提升多步推理能力？

A：模型深度指信息处理的层数，就像思考问题需要经过多个环节一样。研究发现，将Transformer从4层增加到12层对多步推理帮助很大，但增加每层参数数量（宽度）效果有限。这说明多步推理更需要"深度思考"而非"广泛联想"，就像解复杂数学题需要一步步深入分析，而不是同时考虑更多无关信息。

Q3：什么是自适应计算时间，它如何帮助AI进行更深层推理？

A：自适应计算时间让AI模型自己决定某个问题需要思考多长时间。对简单问题快速给答案，对复杂问题进行更多轮内部处理。研究中，这种方法为Transformer提供了大约一个额外的推理步骤，就像给学生更多思考时间来解决难题，虽然提升有限但确实有效。