AI玩游戏能让推理变聪明？新加坡国立大学发现自对弈训练的神奇效果

这项由新加坡国立大学的刘博、里昂·格特勒等研究人员领导，联合A*STAR前沿AI研究中心、东北大学、Sea AI Lab、Plastic Labs和华盛顿大学的团队共同完成的研究，于2025年6月发表在arXiv预印本平台上。有兴趣深入了解的读者可以通过论文编号arXiv:2506.24119v1访问完整论文。

这项研究解决了一个让AI研究人员头疼不已的问题：如何让人工智能真正学会推理，而不是简单地背答案。传统的训练方法就像让学生死记硬背标准答案，虽然能在考试中得高分，但遇到新问题就束手无策。更麻烦的是，这种方法需要大量的专家来设计题目、提供标准答案，成本高昂且难以扩展。

研究团队提出了一个令人眼前一亮的解决方案：让AI通过玩游戏来学习推理。他们开发了一个叫做SPIRAL的训练框架，让AI模型通过与自己的复制版本对弈零和游戏来提升推理能力。这就好比让一个人通过与镜子中的自己下棋来提高棋艺，随着自己水平的提升，对手的水平也在同步提升，形成了一个不断进步的良性循环。

最令人惊讶的是实验结果：仅仅通过训练AI玩简单的扑克游戏Kuhn Poker，AI在数学推理测试中的表现提升了8.6%，在通用推理测试中提升了8.4%。更重要的是，这种提升完全不需要任何数学题目作为训练材料。研究人员发现，游戏中培养的三种核心推理模式——系统性分解、期望值计算和逐案分析——能够完美转移到数学问题求解中。

**一、游戏训练的巧妙设计**

要理解这项研究的精妙之处，我们可以把AI的学习过程想象成运动员的训练。传统的AI训练方法就像让运动员反复练习比赛中的标准动作，虽然能掌握基本技能，但缺乏应变能力。而SPIRAL框架则像让运动员在实战对抗中成长，每一次对弈都是一次新的挑战。

研究团队精心选择了三款具有不同认知要求的游戏作为训练环境。井字棋要求空间推理能力，玩家需要识别获胜模式、阻挡对手威胁并规划多步强制序列。这种确定性的完全信息游戏能够训练纯粹的策略推理，避免了不确定性管理的干扰。

Kuhn Poker则引入了概率推理的挑战。这是一个简化版的扑克游戏，只使用三张牌（J、Q、K），每位玩家获得一张牌，剩余一张不发。游戏的精髓在于隐藏信息下的决策制定，玩家需要计算期望值、建模对手行为，并在不确定性中做出选择。这些能力直接对应着数学中涉及概率、期望值和策略不确定性的问题。

简单谈判游戏则培养了多约束优化能力。两名玩家交换木材和黄金资源，各自拥有不同的估值函数，形成天然的利益对立。成功需要理解对手偏好、规划多步交易，以及通过提议和反提议进行策略性沟通。研究人员假设这些技能能够转移到优化问题、资源分配任务以及需要平衡竞争目标的多约束推理中。

更巧妙的是训练机制的设计。与传统的监督学习不同，SPIRAL采用了完全在线的多智能体强化学习系统。系统使用分布式演员-学习者架构，多个并行演员从不同游戏中采样轨迹，而集中式学习者处理这些轨迹并执行策略更新。这种设计让AI能够在真实的竞争环境中学习，而不是简单地模仿专家行为。

**二、自对弈的无限课程效应**

自对弈训练的魅力在于它创造了一个永不停止的自适应课程。当AI与固定对手训练时，很容易陷入两种困境。一种是"格式学习的回合诅咒"：面对随机对手时，AI必须在每个回合都生成正确格式的有效动作才能获得正面奖励，但生成完全有效轨迹的概率随着回合长度呈指数下降，使得探索和学习变得极其困难。另一种是"静态策略利用"：固定的模型对手虽然能帮助学习动作格式，但AI很快就会找到针对性的获胜策略，导致过拟合而无法泛化。

自对弈巧妙地避免了这两个陷阱。由于对手和自己共享同一个策略网络，随着AI能力的提升，对手的水平也在同步增长。这创造了一个始终维持在50%左右胜率的平衡状态，确保挑战难度始终适中。更重要的是，这种动态平衡迫使AI不断开发新的策略，而不是停留在固定的获胜套路上。

实验数据清楚地展示了这种差异。在与固定对手Gemini的训练中，AI在前128步几乎没有任何学习（胜率为0%，意味着没有正面奖励信号），直到第384步才学会击败这个固定对手，胜率达到62.5%。然而，一旦掌握了获胜策略，进步就停滞不前。相比之下，自对弈训练始终维持50-52%的胜率，表明对手在持续进化以匹配当前能力。

这种持续适应性训练在推理能力转移方面表现得更加出色。自对弈在数学推理测试中达到40%的成绩，在通用推理测试中达到45%，分别比最佳固定对手训练高出5个和3个百分点。这种相对提升证明了多样化策略比利用静态弱点更能培养可泛化的推理模式。

**三、推理模式的意外转移**

研究团队通过深入分析发现，游戏训练过程中自然涌现出三种核心推理模式，这些模式能够以不同程度转移到数学问题求解中。

逐案分析展现了近乎完美的转移效果，从游戏中的72%使用率几乎无损地转移到数学中的71%。这种系统性枚举的元认知技能代表着一种领域无关的结构化思维方式，能够普遍改善推理表现。无论是分析扑克中的对手可能性，还是分析数学中的解决方案分支，核心技能都是相同的。一个具体的例子是，在游戏中AI学会了"情况1-弃牌：你失去1个筹码，现在有2个筹码。情况2-跟注：你有0%的获胜机会，如果输了会有1个筹码"的分析方式，在数学中则转化为"情况n=0：m?+2=m，无实数解。情况n=1：m?+6=3m，无实数解"的系统性枚举。

期望值计算显示了有限但有意义的转移，从游戏中的78%使用率转移到数学中的28%。虽然游戏特定的概率推理在数学中出现频率较低，但这主要是因为大多数数学问题缺乏显式的决策理论结构。然而，在涉及概率和优化的数学问题中，这种推理方式直接适用且非常有效。

最有趣的是模式识别展现出的放大效应，从游戏中的35%使用率实际增强到数学中的45%。研究人员认为这是因为数学本质上需要模式识别，游戏训练增强了一个已经存在的核心数学技能，使其在面对数学问题时部署得比游戏中更加频繁。

**四、多游戏训练的协同效应**

单独游戏训练已经令人印象深刻，但多游戏组合训练展现出了更加强大的协同效应。研究团队发现，不同游戏培养的专门技能能够互补协作，创造出比单一游戏更强的综合能力。

在专家对专家的对决中，这种专业化分工表现得淋漓尽致。井字棋专家在需要类似认知技能的游戏中表现出色，在训练游戏中获得57.5%的胜率，在未见过的贪吃蛇游戏中保持56.0%的表现，证明了空间推理能力的稳健转移。Kuhn Poker专家在概率推理方面独领风骚，不仅在训练游戏中达到64.2%的胜率，在未见过的猪骰子游戏中更是创造了惊人的91.7%胜率。简单谈判专家则在策略优化方面见长，在训练游戏中获得62.7%胜率，在真相与欺骗游戏中达到55.8%。

然而，真正的魔力在多游戏模型中展现。这个综合训练的模型在面对新挑战时展现出超越任何专家的适应能力。在骗子骰子游戏中，各个专家的表现都不尽如人意，Kuhn Poker专家只有24.9%的胜率，简单谈判专家更是只有12.3%。但多游戏模型却达到了51.4%的胜率，证明了多样化训练创造的涌现能力远超单一技能的简单叠加。

这种协同效应在标准推理基准测试中得到了进一步验证。多游戏训练将Qwen3-4B模型的平均表现从33.1%提升到42.3%，提升幅度达到9.2个百分点。更令人印象深刻的是，即使对于已经表现优异的强推理模型DeepSeek-R1-Distill-Qwen-7B，多游戏训练仍然能够带来从59.7%到61.7%的2.0个百分点提升，证明游戏训练教授的认知技能即使对已经擅长数学推理的模型也具有互补价值。

**五、技术创新的关键支撑**

整个研究的成功离不开一项关键的技术创新：角色条件优势估计（RAE）。这项技术解决了多智能体自对弈训练中的一个根本性挑战——高方差梯度导致的训练不稳定。

传统的强化学习方法在多智能体设置中面临严重的方差问题，特别是当两个玩家共享同一个策略网络时。即使在共享策略的情况下，不同角色可能因为游戏不对称性（如井字棋的先手优势、Kuhn Poker的信息不对称）而具有不同的期望回报。RAE通过为每个游戏和角色维护独立的基线来解决这个问题，使用指数移动平均来估计每个角色在特定游戏中的期望回报。

这种看似简单的改进产生了巨大的影响。没有RAE的训练会导致灾难性的"思维崩溃"现象：模型在200步训练后开始截断推理过程，生成空洞的推理轨迹如"下注"。这种崩溃伴随着梯度范数的不稳定，先是出现高初值和峰值，然后在200步后崩溃至接近零，表明模型已收敛到退化策略。

相比之下，使用RAE的训练始终维持稳定的梯度范数（约0.1），确保持续学习。更重要的是，RAE防止了推理放弃行为，维持了对泛化至关重要的实质性推理。实验清楚地显示，没有RAE的模型学会了单纯玩游戏但放弃了链式思维，导致泛化失败。数学推理性能从35%暴跌至12%（相对下降66%），通用推理从44%下降至40%。

**六、实验验证的全面性**

研究团队的实验设计展现了令人敬佩的全面性和严谨性。他们不满足于单一维度的验证，而是从多个角度确保发现的可靠性。

在游戏外泛化测试中，他们精心选择了七款未见过的游戏来测试学习技能的迁移。贪吃蛇和四子棋测试空间推理，猪骰子和骗子骰子测试概率推理，真相与欺骗测试策略优化。这些游戏专门探测从井字棋、Kuhn Poker和简单谈判中学到的空间推理、概率推理和策略优化是否能迁移到新的游戏机制。

在标准推理基准测试中，他们使用了广泛的数学和通用推理评估套件。数学推理涵盖MATH500、AIME24、AIME25、OlympiadBench、AMC-23和Minerva Math等数据集，覆盖从基础数学到竞赛级难题的各个层次。通用推理则使用GPQA（研究生级科学问题）和MMLU-Pro（多学科知识基准）进行评估。所有评估都采用零样本设置，确保游戏诱导的推理能够成功迁移到通用问题解决中。

更为重要的是，他们通过大规模的推理模式分析来理解迁移机制。使用GPT-4.1作为评判器，他们分析了290个游戏轨迹和46,792个数学问题解答中的推理轨迹，将推理策略分类为三种核心模式。通过跟踪这些模式在训练检查点（早期：步骤0，中期：步骤128，后期：步骤400）的演变，他们测量了从游戏到数学领域的迁移率。

实验结果的一致性令人信服。SPIRAL训练仅在Kuhn Poker上就在数学推理（MATH500提升10.6%，AIME'25提升6.7%，AMC-23提升7.5%）和通用推理（GPQA提升6.4%，MMLU-Pro提升10.5%）方面实现了一致的提升。特别值得注意的是，SPIRAL实现了这些收益，尽管在整个训练过程中从未见过单一的数学方程、学术问题或领域特定的训练示例。Minerva Math上18.1%的提升和数学基准平均8.7%的收益证明，竞争游戏环境成功地促使发现了在各个领域广泛迁移的推理模式。

**七、研究意义与未来展望**

这项研究的意义远超其技术贡献本身，它揭示了一个关于智能本质的深刻洞察：复杂的推理能力可能不是来自精密的监督，而是来自迫使模型思考的环境挑战。

从实用角度来看，SPIRAL为AI训练提供了一条全新的道路。传统方法需要专家设计复杂的奖励函数、策划训练问题并验证推理轨迹，每个新的推理领域都需要专家来设计评估指标、策划训练问题并验证推理轨迹。这种手工过程随着我们追求更通用的智能而变得越来越不可持续，限制了模型能够学习的推理挑战的规模和多样性。SPIRAL通过游戏动态单独生成无限训练数据，消除了对人工策划问题-答案对的依赖。

从理论角度来看，这项研究支持了一个重要观点：智能的涌现可能不需要复杂的架构设计，而需要合适的环境压力。竞争压力剥夺了记忆，因为自对弈对手不断演进，迫使模型发展真正的推理而非模式匹配。游戏隔离了纯推理，没有领域复杂性，游戏教授了有效泛化的基本认知操作（枚举、评估、综合）。在游戏中学到的结构化输出格式为模型重用数学问题提供了推理脚手架。

当然，研究也存在一些局限性。虽然消除了人工策划的问题，但SPIRAL仍然需要设计游戏环境。实验使用简单游戏（井字棋、Kuhn Poker、简单谈判），扩展到复杂环境仍有待探索。计算要求相当大（每个实验需要8个H100 GPU运行25小时）。性能在延长训练后趋于平稳，评估重点关注学术基准而非需要常识或伦理判断的现实推理任务。

尽管如此，这项工作开启了几个激动人心的研究方向。扩展到合作游戏、纳入部分可观察性、设计针对特定推理弱点的游戏都是值得探索的领域。理解为什么某些游戏发展特定技能可能实现有原则的环境设计。研究团队甚至设想了自我改进智能体生态系统，生成越来越复杂的挑战，创造超越人类监督的自主推理发展。

说到底，SPIRAL证明了简单游戏可以解锁复杂推理，而无需领域特定数据。通过利用竞争压力，研究团队创造了发现自己课程并持续改进的系统。从游戏到数学的迁移表明，智能的涌现可能不是来自精密的监督，而是来自迫使模型思考的环境挑战。这种范式转换指向了AI系统自主推动推理边界并通过自对弈持续演进的未来。

当我们站在AI发展的十字路口时，SPIRAL提醒我们，有时候最简单的想法——让AI通过游戏学习——可能蕴含着最深刻的洞察。正如人类通过游戏学会了策略思维和问题解决，AI也许能够通过同样的方式发展出真正的智能。这不仅是技术的进步，更是我们对智能本质理解的一次重要飞跃。

Q&A

Q1：SPIRAL是什么？它能做什么？ A：SPIRAL是新加坡国立大学开发的AI训练框架，通过让AI与自己的复制版本玩零和游戏来提升推理能力。它的核心能力是无需任何数学题目训练，仅通过游戏就能让AI在数学和通用推理测试中提升8%以上的表现。

Q2：为什么玩游戏能提升AI的数学推理能力？ A：研究发现游戏训练能培养三种核心推理模式：系统性分解、期望值计算和逐案分析。这些模式能完美转移到数学问题求解中。竞争压力迫使AI发展真正的推理能力而非简单记忆，就像人类通过下棋学会策略思维一样。

Q3：这项技术会不会改变AI训练方式？ A：很可能会。传统AI训练需要专家设计大量题目和标准答案，成本高昂。SPIRAL通过自对弈游戏自动生成无限训练数据，大大降低了训练成本。虽然目前仍需要设计游戏环境，但已经展现出替代传统监督学习的巨大潜力。