用AI玩游戏，加州大学伯克利分校科学家发明了一个永远玩不完的智力测试

这篇由加州大学伯克利分校计算机科学系Vivek Verma、David Huang、William Chen、Dan Klein和Nicholas Tomlin共同完成的研究，发表于2025年5月12日的arXiv预印本平台。感兴趣的读者可以通过arXiv:2505.07215v1访问完整论文。

想要知道一个人有多聪明，我们通常会让他做一套智力测试题。但如果要测试AI的智力呢？传统的方法就像是让学生反复做同一套考试题，时间久了，学生可能只是记住了答案，而不是真正变聪明了。加州大学伯克利分校的研究团队想出了一个绝妙的办法：让AI自己设计考试题，然后测试其他AI能不能解答这些题目。

这就好比让一个厨师既要设计菜谱，又要品尝其他厨师按照这个菜谱做出的菜。如果一个AI能设计出复杂的智力游戏，但自己却玩不好，这说明了什么？这说明AI在创造和解决问题之间存在着有趣的差距，而这正是研究团队想要探索的核心问题。

研究团队开发了一个名为"gg-bench"的测试系统，这个系统的工作原理很像一个永不停歇的游戏工厂。首先，他们让目前最强大的AI模型之一——OpenAI的o1模型——设计出1000个全新的双人策略游戏。这些游戏涵盖了从数字对决到棋盘争夺，从卡牌博弈到随机挑战等各种类型。接着，同样的AI还要为每个游戏编写详细的程序代码，就像给每个游戏制作一个数字版本。

但故事并没有到此结束。为了确保这些游戏真的有挑战性，研究团队训练了专门的AI选手，通过一百万次的自我对弈来掌握每个游戏的精髓。这些AI选手就像是经过千锤百炼的游戏高手，专门用来检验其他AI的真实水平。

测试结果令人惊讶。当前最顶尖的AI模型，比如GPT-4o和Claude 3.7 Sonnet，在面对这些自己"同类"设计的游戏时，胜率只有可怜的7%到9%。即使是具备推理能力的高级模型，如o1、o3-mini和DeepSeek-R1，胜率也只能达到31%到36%。这就像是一个建筑师能设计出复杂精美的迷宫，但自己走进去却迷路了。

这个发现揭示了AI能力中一个非常有趣的现象：创造比解决更容易。AI可以凭借在训练过程中学到的模式和规律，设计出看起来合理且复杂的游戏规则，但当需要在实际游戏中进行战略思考、长期规划和适应性决策时，它们就显得力不从心了。

一、永不重复的智力测验工厂

传统的AI测试就像是学校里的标准化考试，题目固定，答案确定，时间久了难免会出现"刷题"现象。学生可能记住了所有题目的答案，但并不意味着真正掌握了解题的能力。AI领域也面临同样的困扰，研究人员称之为"数据污染"问题。

gg-bench的巧妙之处在于它不是一套固定的题目，而是一个能够持续产生新题目的"题目生成器"。每当需要测试AI时，系统就能创造出全新的游戏，确保被测试的AI从未见过这些内容。这就像有一位永远不会重复出题的老师，每次考试都会设计全新的挑战。

整个创造过程分为三个环节，就像制作一道复杂菜肴的完整流程。首先是"构思阶段"，研究团队让o1模型充当游戏设计师，为每个游戏撰写详细的规则说明书。这些说明书就像菜谱一样详细，包含游戏目标、设置方法、游戏组件、回合结构、核心规则和计分方式，甚至还有游戏示例。

接下来是"实现阶段"，同样的AI模型要根据刚才写的规则说明书，编写出能够运行的游戏程序。这个过程就像厨师要根据菜谱实际制作出菜肴一样，需要将抽象的规则转化为具体的代码逻辑。程序必须包含游戏的状态管理、动作执行、胜负判定等各种功能。

最后是"训练阶段"，研究团队使用强化学习技术训练专门的AI选手。这些AI选手通过不断的自我对弈来学习游戏策略，就像专业棋手通过大量练习来提高水平。经过一百万次的训练后，这些AI选手成为了各自游戏领域的专家，用来检验其他AI的真实能力。

为了确保生成的游戏质量，研究团队设置了严格的筛选标准。他们首先过滤掉那些在技术上难以实现的游戏，比如需要处理大量文字的游戏，因为这样的游戏动作空间会过于庞大。然后检查游戏程序是否能正常运行，是否有编程错误。最关键的是，他们还设置了时间限制，过滤掉那些可能永远不会结束的游戏。

经过层层筛选，从最初的1000个游戏中选出了126个高质量的游戏，组成了最终的gg-bench测试集。这些游戏涵盖了数字游戏、棋盘游戏、卡牌游戏、机会游戏和战斗游戏五大类别。每个游戏都有其独特的魅力和挑战性，确保了测试的多样性和全面性。

二、AI创造者与AI解题者的较量

在这场特殊的智力竞赛中，同一个"大脑"设计的游戏，其他"大脑"却玩不好，这种现象背后隐藏着深刻的认知科学问题。研究团队对比了不同类型AI模型的表现，发现了一些有趣的规律。

传统的大语言模型，如GPT-4o、Claude 3.7 Sonnet等，它们在创造游戏方面表现出色，能够设计出规则完整、逻辑自洽的复杂游戏。但当轮到它们实际参与游戏时，表现却差强人意。GPT-4o的胜率只有8.94%，Claude 3.7 Sonnet稍好一些，达到9.53%，但依然远低于随机猜测的水平。

相比之下，那些专门训练了推理能力的模型表现要好得多。DeepSeek-R1的胜率达到32.5%，o3-mini为31.08%，表现最好的o1达到36.28%。这些模型在面对游戏挑战时，能够进行更深入的思考和分析，制定更合理的策略。

这种差异就像作家和读者之间的关系。一个作家可能写出精彩的推理小说，设置巧妙的谜题和线索，但这并不意味着他在阅读其他人的推理小说时就能迅速猜出凶手。创造和解决是两种不同的认知能力，需要不同的思维方式和技能组合。

研究团队还深入分析了AI失败的原因。通过观察具体的游戏过程，他们发现AI的主要问题集中在两个方面：无法进行有效的多步骤战略规划，以及难以将游戏描述中的抽象规则转化为具体的游戏行为。

在一个名为"Cross Over"的游戏中，研究团队记录了o1模型与AI选手的完整对战过程。这个游戏类似于军事对抗，双方需要控制棋子在线性轨道上移动，既要入侵对方领域，又要保护自己的后方。在观察到的对局中，o1在游戏前期表现尚可，但在第5步时做出了一个致命错误，将一枚重要棋子移动到容易被攻击的位置。虽然随后它成功反击夺回一子，但却因此暴露了后防，最终被对手抓住机会获胜。

这个例子清楚地展示了当前AI的局限性：它们往往只能考虑眼前的一两步行动，无法像人类棋手那样进行深远的战略布局。当面对需要平衡多个目标、权衡长短期利益的复杂决策时，AI就会显露出明显的不足。

三、AI游戏设计师的创作特色

在分析这126个通过筛选的游戏时，研究团队发现了AI作为游戏设计师的独特风格和偏好。这些游戏就像是AI的"艺术作品"，反映出它对游戏设计的理解和审美。

数字游戏占据了最大的比例，达到36.7%。这类游戏的核心玩法围绕着数字的选择和操作，比如"质数争夺战"，玩家轮流选择1到25之间的整数，质数按面值得分，合数不仅按面值得分还要将其因子和送给对手。这种设计体现了AI对数学逻辑的偏爱和熟练程度。

棋盘游戏占27.6%，包括各种网格移动和位置控制的游戏。比如"隔离战"，玩家在13格直线上轮流占据位置，但不能选择相邻已占据格子的位置，谁先让对手无法行动就获胜。这类游戏考验空间思维和战略布局能力。

卡牌游戏占14.6%，机会游戏占11.7%，战斗游戏占9.4%。有趣的是，战斗类游戏在筛选前本来占到31.1%，但由于胜负条件复杂、难以准确实现，大部分被过滤掉了。这说明AI虽然能够想象出激烈的战斗场景，但在将这些想法转化为可执行的游戏规则时遇到了困难。

每个游戏的规则说明平均长度为1857个词，代码平均125行，显示了相当的复杂程度。动作空间的大小平均为70个选择，这意味着玩家在每一步都面临众多可能的行动方案，增加了游戏的策略深度。

为了验证这些游戏确实具有挑战性，研究团队建立了一个"可胜性"检验机制。他们训练多个AI选手，让它们相互对战，找出每个游戏中实力最强和最弱的选手。如果最强选手能够以80%以上的胜率击败最弱选手，就说明这个游戏存在明确的技能差异，是可以被"攻克"的。最终保留的126个游戏中，最强选手的平均胜率达到91.02%，证明这些游戏确实有明确的优劣策略，而不是纯粹的运气游戏。

四、游戏多样性与原创性验证

为了确保这些AI生成的游戏真正具有原创性，而不是对现有游戏的简单模仿，研究团队使用了专业的代码相似性检测工具DOLOS进行分析。这个工具原本用于检测学术作业中的抄袭行为，现在被用来检验AI的创造力。

检测结果令人欣慰。在所有游戏代码中，相似度的中位数最高值为0.41，远低于已知抄袭案例的0.72标准。这意味着虽然这些游戏在某些基础结构上存在相似性（比如都使用相同的编程框架），但在核心游戏逻辑上都是独创的。只有少数游戏的相似度超过0.70，经过人工检查，这些相似性主要来自于通用的辅助函数，而非核心玩法的复制。

更有趣的是，研究团队还对比了不同AI模型的创作能力。当使用GPT-4o代替o1来生成游戏时，从1000个游戏中最终只有10个通过了筛选，成功率远低于o1的126个。更重要的是，这10个GPT-4o生成的游戏中，有8个都是井字棋的变种，缺乏真正的创新性。这个对比清楚地显示了不同AI模型在创造力方面的巨大差异。

研究团队还使用了一种称为"目标驱动聚类"的方法来分析游戏的多样性。他们让AI根据游戏的核心主题和策略特点进行分类，结果发现这些游戏确实涵盖了广泛的游戏类型。从简单的数字操作到复杂的空间布局，从纯策略游戏到包含随机元素的混合游戏，gg-bench展现出了令人印象深刻的多样性。

这种多样性的价值在于它模拟了真实世界中智力挑战的多元化特征。就像人类的智力测试需要包含语言、数学、空间、逻辑等多个维度一样，AI的通用智能测试也需要涵盖各种不同类型的推理和决策场景。

五、超越传统测试的革命性意义

gg-bench的出现标志着AI评估方法的一个重要转折点。传统的AI测试就像是让学生做历年高考真题，时间久了不可避免地会出现"题海战术"的问题。AI模型在训练过程中可能已经见过类似的题目或答案，导致测试结果无法真实反映其推理能力。

这个新系统的革命性在于它的"可扩展性"。当现有的游戏变得过于简单，或者怀疑AI已经"见过"这些游戏时，研究人员可以随时生成新的游戏集合。更重要的是，随着AI能力的提升，生成的游戏也会变得更加复杂和具有挑战性，确保测试始终保持适当的难度水平。

这种方法还解决了一个困扰AI研究多年的根本问题：如何区分真正的智能进步和简单的记忆力提升。当AI能够在从未见过的全新游戏中表现出色时，我们就有理由相信它确实具备了类似人类的推理和适应能力，而不仅仅是记住了更多的训练数据。

研究团队还发现了一个有趣的现象：即使是同一个AI模型，在创造游戏和解决游戏方面的能力也存在显著差异。这提醒我们，AI的能力可能比我们想象的更加专门化和领域特定。一个AI可能在某个任务上表现出色，但在看似相关的其他任务上却表现平平。

从实际应用的角度来看，gg-bench为AI开发提供了一个宝贵的工具。开发者可以使用这个系统来识别AI模型的薄弱环节，针对性地进行改进。比如，如果一个AI在长期策略规划类游戏中表现不佳，开发者就知道需要在这个方面加强训练。

这项研究还揭示了AI发展中的一个重要趋势：推理能力的重要性正在日益凸显。那些专门训练了推理能力的模型在游戏中的表现明显优于传统的大语言模型，这表明未来AI的发展方向可能会更加注重深度思考和逻辑分析能力，而不仅仅是信息的记忆和重组。

从更广阔的视角来看，这项研究也反映了人工智能领域对"通用智能"概念的深入思考。什么是真正的智能？如何评估一个系统是否具备了类似人类的认知能力？这些根本性问题推动着研究者们不断探索新的测试方法和评估标准。

虽然gg-bench主要关注的是双人零和游戏，无法完全捕捉人类智能的所有方面，比如社交智能、情感理解等，但它在推理、规划、适应等核心认知能力的测试上迈出了重要一步。这为我们理解和改进AI系统提供了新的视角和工具。

说到底，这项研究告诉我们一个简单而深刻的道理：真正的智能不仅在于能够创造，更在于能够适应和解决未知的挑战。当AI能够在自己设计的游戏中获胜时，我们或许就离真正的人工智能又近了一步。这个看似简单的游戏测试，实际上触及了人工智能发展的核心问题，为未来的研究指明了方向。有兴趣深入了解技术细节的读者，可以通过arXiv:2505.07215v1访问完整的研究论文，获取更多实现细节和实验数据。

Q&A

Q1：gg-bench是什么？它和普通的AI测试有什么不同？ A：gg-bench是一个能够自动生成新游戏来测试AI智能的系统。与传统固定题目的测试不同，它能持续创造全新的双人策略游戏，确保AI无法通过记忆答案来"作弊"，从而更准确地测试AI的真实推理能力。

Q2：为什么AI能设计游戏却玩不好自己设计的游戏？ A：这反映了创造和解决是两种不同的能力。AI可以基于训练数据中的模式设计出合理的游戏规则，但在实际游戏中需要进行战略思考、长期规划和灵活适应，这些能力目前的AI还比较欠缺。就像建筑师能设计迷宫但自己走进去也可能迷路。

Q3：这项研究对AI发展有什么实际意义？ A：这项研究提供了一个革命性的AI评估工具，能够识别AI的真实能力水平和薄弱环节，避免传统测试中的"刷题"问题。同时也证明了推理能力对AI的重要性，为未来AI的发展方向提供了重要指导。