当AI学会给世界"打补丁"：IGMBench揭示大模型改游戏的能力边界

你有没有玩过Minecraft的模组？有人给游戏加了把会喷火的剑，有人在Terraria里塞进了一套全新的职业系统，背后往往是程序员熬夜写出来的代码。现在想象一下，这些活儿交给AI来干会怎样。不是让AI从零造一个游戏世界，而是让它去"动"一个已经存在、正在运行的世界，往里面加东西、改规则，还得保证没动的地方别出岔子。

这事听起来简单，但你细想会发现它跟"生成一个游戏世界"完全是两回事。生成世界，AI可以天马行空，怎么画怎么编都行。但改一个已经存在的世界，AI得先搞懂这个世界原来是怎么运转的，哪些齿轮和哪些齿轮咬合在一起，动一个地方会不会把另一个地方带崩。这就跟你去修一辆正在开着的车不一样，修车前车可以先停下来，但这里车不会为你停。

这篇来自滑铁卢大学等机构的论文，就是奔着这个问题去的。研究者给这件事起了个名字，叫"世界编辑"（world editing）。此前学界研究AI和虚拟世界的关系，基本就两条路：一条是让AI学会生成世界，一条是让AI学会在世界里行动，比如玩游戏、做任务。但有没有人研究过，AI能不能像一个老练的游戏模组制作者那样，在一个已经成型的世界上动刀子，还保证手术成功、病人（也就是这个游戏世界）活得好好的？几乎没有。这篇论文填的就是这个空白。

**世界编辑**：对一个已经存在、可运行的世界进行干预，改变它的部分内容，同时保证没被要求改动的部分维持原样。

这里要注意一个容易搞混的地方。之前也有论文用过"世界编辑"这个说法，但那指的是对生成出来的画面做视觉上或几何上的修改，比如把图里的一棵树挪个位置。这篇论文说的世界编辑完全不是一个概念，它针对的是一个真正可以运行、有代码、有逻辑、能加载进游戏引擎的世界本体，改的是这个世界的实体、运行规则和相互咬合的系统，不是改一张图。

这件事到底难在哪？研究者抛出了两个问题。第一，如果让AI做的改动越"深"，比如不只是改个数值，而是要掀动好几个系统一起联动，这种深度改动是不是天然更难，还是说它只是因为要求写得更长更细所以显得难？第二，当AI改失败的时候，它是卡在最基础的"这玩意儿根本跑不起来"，还是说代码能跑、游戏能加载，但跑出来的行为不对劲？这两个问题，决定了整篇论文接下来要怎么设计实验。

干预深度：一把尺子

为了把"改动有多深"这件事量化出来，研究者搭了一个四层的尺子，叫**干预深度**（intervention depth）。

**干预深度**：描述一次编辑要求把世界里多少实体、规则和系统拧在一起协调运作的轴线，层级越高说明牵扯越广。

第一层叫属性干预，对应到游戏模组里就是改参数，比如把一把武器的伤害值从5调到10，或者换个怪物的皮肤。这种改动不涉及身份认同的变化，这把剑还是这把剑，只是数值变了。第二层叫实体干预，往世界里加全新的东西，比如新增一个可以合成的道具或者一个新怪物，但基本不动原来的运行规则。第三层叫动态干预，这就开始碰规则了，比如给角色加一个双击方向键触发的冲刺技能，这需要改变实体之间互动的底层逻辑。第四层叫系统干预，牵扯的是好几个互相咬合的组件一起变，比如给游戏加一整套技能树，或者彻底重做经济系统，这往往意味着界面、玩家状态、游戏进程都要跟着联动。

这里有个容易被误解的地方。研究者特别强调，层级高不代表写的代码量一定多。一个系统级的改动，实现起来可能就改了几个文件，但它需要好几个部件保持一致才能生效。层级衡量的是"协调的广度"，不是"工作量的大小"。

如果拿装修来打比方：换个门把手（属性干预），哪怕只拧两颗螺丝，这事也简单，装完立刻看得出来对不对。但如果你要把客厅和厨房打通改成开放式格局（系统干预），哪怕工程量听起来不大，拆掉的墙、改线路、调整通风都得互相配合，一个环节没对齐，可能通风出问题，可能承重出问题。如果没有这把"干预深度"的尺子，你光看工程量大小去判断难度，会完全误判风险所在。真正决定事情难不难的，不是你动了几块砖，而是你动的这几块砖牵连了多少看不见的管线。

为了让这套四层体系真正可以拿来做实验，研究者选了两款经过时间考验的游戏作为试验场，Minecraft和Terraria。这两款游戏都有成熟的模组生态，Minecraft用的是Fabric，Terraria用的是tModLoader。

**IGMWorld**：论文搭建的可执行环境，让AI智能体能够修改游戏的模组代码库，编译、运行，并在真实运行结果上接受评测，而不只是看代码写得像不像。

**IGMBench**：论文配套的测试集，包含110个世界编辑任务，涵盖超过1100条可执行的状态和行为评测标准，均匀分布在前面说的四个干预层级，横跨两款游戏。

当时业界评测AI写代码的能力，大多靠类似SWE-bench这样的基准，看AI能不能修复一个GitHub上的真实bug。但那些任务测的是"代码对不对"，不直接测"游戏运行起来符不符合预期"。IGMBench选择在真实游玩环境里跑分，这是它和此前工作最大的不同，它逼着AI不仅要写出能编译的代码，还要让游戏实际跑起来，行为符合要求。

三道关卡：怎么判断AI改得对不对

光让AI改完就完了吗？不行，还得有一套说得清、立得住的评判标准。论文设计了三道关卡。

第一关叫可执行性，问的是改完的代码能不能顺利编译成模组包，并且在目标游戏里成功加载而不崩溃。这是一道硬性关卡，过不去后面全白搭。

第二关叫世界编辑正确性，这是核心的一关。它检查两件事：一是AI要求实现的那个改动，是不是真的在游戏里体现出来了；二是没被要求改的地方，是不是保持原样没被误伤。这里又分两种检查方式，**状态检查**是直接去查游戏运行时的属性，比如这把武器的攻击力数值对不对，这个合成配方注册了没有。**行为检查**是让游戏真的执行一个操作，比如让一个虚拟角色去挥一下剑，看游戏状态会不会按预期转变。

第三关叫视觉一致性，专门针对那些需要AI自己画图或生成素材的任务，检查两件事：这张图画的是不是要求的那个东西（语义一致），这张图的画风是不是和游戏本来的美术风格搭（风格一致）。

**TPIPS**：论文采用的一种文本条件化的感知相似度指标，可以在给定一个文字描述的前提下，衡量生成的图片和一组参考图片有多像，用来判断AI生成的素材到底是不是那个东西、画风对不对。

这个视觉检查的设计思路挺巧妙的。它不是简单地拿AI生成的图跟某一张参考图比对，而是在游戏原有素材库里找出最相近的几张图做参照，再用一个经过人工校准的阈值去判断是否通过。研究者还专门找了九位有游戏经验的志愿者，蒙眼判断AI生成的素材是否搭调，用这个人工判断去反推自动化指标该设成什么样的通过门槛才靠谱。

实验结果：AI到底行不行

现在到了最关键的部分，这帮AI实际表现怎么样。研究者挑了七套顶级的智能体配置去跑这110个任务，包括DeepSeek-V4-Pro、GLM-5.3、Kimi-K3、Gemini 3.5 Flash、Claude Opus 4.8、GPT-5.6 Luna和GPT-5.6 Sol，每个任务给一个小时的时间预算。

表格里最直观的两个指标，一个叫**标准通过率**（CPR），衡量的是所有细分评测标准里有多少条被满足了；另一个叫**世界编辑成功率**（WSR），这是个严格得多的指标，一个任务只有把它涉及的所有标准全部满足才算通过，哪怕差一条也不算。

| 模型 | L1 WSR | L2 WSR | L3 WSR | L4 WSR | 整体CPR | 整体WSR |

|---|---|---|---|---|---|---|

| DeepSeek-V4-Pro | 74.1 | 24.1 | 18.5 | 11.1 | 63.3 | 31.8 |

| GLM-5.3 | 92.6 | 62.1 | 25.9 | 11.1 | 60.1 | 48.2 |

| Kimi-K3 | 88.9 | 65.5 | 51.9 | 33.3 | 74.9 | 60.0 |

| Gemini 3.5 Flash | 77.8 | 55.2 | 37.0 | 59.3 | 81.0 | 57.3 |

| Claude Opus 4.8 | 92.6 | 72.4 | 66.7 | 55.6 | 93.6 | 71.8 |

| GPT-5.6 Luna | 92.6 | 58.6 | 44.4 | 63.0 | 88.5 | 64.5 |

| GPT-5.6 Sol | 96.3 | **86.2** | **81.5** | 48.1 | **94.8** | **78.2** |

表现最好的GPT-5.6 Sol能拿下78.2%的严格任务成功率，标准通过率逼近94.8%。这个数字放在"AI能不能帮人改游戏"这个问题上，已经相当能打了。

但真正值得琢磨的是另一个趋势：每一个被测的配置，都是在L1也就是最浅的属性改动上拿到最高分，层级越往上爬，成功率普遍越往下掉。拿GPT-5.6 Sol来说，L1能做到96.3%，到了L4只剩48.1%，Claude Opus 4.8也从92.6%掉到55.6%。

这里有个很自然的疑问：是不是因为层级越高，要求写得越多，所以难度自然就上去了？研究者很严谨地做了一个控制实验，把任务按评测标准的数量分组，专门去看"标准数量差不多"的任务里，层级高低会不会还有差异。结果是，就算控制了标准数量，L1依然明显比L3、L4更可靠。这说明干预深度本身就是一种独立于"要求多不多"的难度来源，不是简单的工作量堆积，而是协调复杂度带来的额外负担。

这就好比让一个人独立做一道菜和统筹一场十人的宴席。统筹宴席要求的"任务条数"或许和做一道复杂菜的步骤数差不多，但宴席要协调好几个人同时上菜、火候对齐、口味搭配，哪怕清单长度一样，难度完全不是一个量级。如果不区分这两种"难"，你会误以为多练几道菜就能办好宴席，但实际上协调能力和单项技能是两件不同的事。

多数失败不是"跑不起来"，是"跑起来了但不对"

论文接下来做的分析，可能是整篇论文里最反直觉的一个发现。你可能会以为，AI改游戏代码失败，大概率是代码写错了，编译不过，或者游戏加载就崩了。但数据完全不是这样。

研究者统计了所有失败案例，发现在每一个干预层级上，**行为层面的失败才是绝大多数失败的根源，构建和加载失败只占很小一部分**。即便在难度最高的L4层级，建筑物盖起来了，游戏也能跑，但跑出来的行为不对劲，这仍然是主导性的失败原因。

这个发现意味着什么？意味着当前这些顶级AI，写代码、让代码编译通过的能力已经相当扎实，真正卡住它们的瓶颈不是"写不出能跑的代码"，而是"让这段代码产生的游戏行为，精确符合人提出的那个要求"。

更细一步看，失败的具体类型也随着层级在变化。L1层级的失败几乎全是机制语义出错，比如伤害公式写错了一个数值。但从L2往上，一种叫"互动/进程类"的失败开始占主导，并且一路涨到L4的43%，这种失败指的是新加的内容和游戏原有系统碰到一起之后行为跑偏了。而另一种"资源/注册类"失败，始终稳定在13%到24%之间，并不会随着层级升高而变多。

这个对比特别说明问题。资源注册出错，往往是"这段代码没有正确接入游戏的注册系统"这种相对局部的技术失误，跟改动的深度关系不大，哪怕L1也会出这种错。但互动进程类失败是另一种性质，它反映的是新加的东西放进一个已经运转的系统后，各个部件之间的配合出了岔子，层级越高，需要配合的部件越多，这种失败自然越容易冒出来。

想象你往一台正在运转的机器上加一个新零件。如果这个零件只是单独挂在外面不跟其他部件啮合（类似L1、L2的局部改动），哪怕装歪了，顶多这个零件自己不转。但如果这个新零件要插进传动链条里，跟好几个齿轮一起咬合转动（类似L3、L4的系统级改动），只要有一环对不上齿，整条链子的运转节奏都会乱。如果不去区分"零件装歪了"和"链条配合乱了"这两种性质完全不同的毛病，维修的时候就会用错方法，这正是论文揪出的核心矛盾。

视觉这一关，所有AI都没扛住

功能层面AI已经相当能打了，但视觉一致性这一关，画风整体不好看。论文给出的数据相当扎眼。

| 模型/来源 | Minecraft联合通过率 | Terraria联合通过率 |

|---|---|---|

| 原生游戏素材（参照组） | 0.80 | 0.78 |

| DeepSeek-V4-Pro | 0.15 | 0.11 |

| GLM-5.3 | 0.40 | 0.29 |

| **Kimi-K3** | **0.47** | 0.24 |

| Gemini 3.5 Flash | 0.22 | 0.22 |

| Claude Opus 4.8 | 0.23 | 0.25 |

| GPT-5.6 Luna | 0.14 | 0.12 |

| GPT-5.6 Sol | 0.19 | 0.18 |

游戏原生素材的联合通过率是0.78到0.80，而**所有参评配置的最高分都没有超过0.50**。这不是某一个模型拉了后腿，是全军覆没的集体表现。

更有意思的反差是，在功能正确性上表现最强的GPT-5.6 Sol，视觉表现反而不出众，而功能上相对弱一些的Kimi-K3，在Minecraft的视觉联合通过率上居然是所有模型里最高的。这说明"把游戏逻辑改对"和"把画出来的图配色配得搭"，根本是两套不太相关的能力，一个模型在前者很强不代表它在后者也强。

这就像请一位数学老师去兼职当美术老师。数学老师可能把应用题的逻辑和计算过程讲得滴水不漏，但黑板上画的几何图形歪歪扭扭不成比例。逻辑能力强不代表审美搭配能力也强，这两者在人的技能树上本来就是分叉的，放到AI身上同样如此。如果不把这两种能力拆开单独评测，很容易被"这个模型综合分最高"误导，忽略了它在某个具体维度上其实很拉胯。

论文发表时领域处在什么位置，还得看一个关键对比。此前关于游戏领域AI能力的测评，比较接近的工作是StarCharM，它研究的是用生成式AI给《星露谷物语》做角色创建器，属于一个HCI案例研究，只盯着单一类型的内容，而且没有可执行的自动化评测。相比之下，这篇论文第一次把"修改一个可执行世界"这件事当成目标能力本身来系统化测量，这是方法论层面的推进。

AI到底是怎么干这活儿的

论文还顺手挖了一下AI的作业习惯，挺有意思。GPT-5.6 Sol、GPT-5.6 Luna和Claude Opus 4.8这几个模型，有91%到99%的运行过程中会主动去读游戏原始代码，想先搞懂这个世界原来是怎么写的再动手。但Gemini更依赖联网搜索，查资料的习惯跟前面几个明显不一样。

另外一个共性是，几乎所有模型都习惯"先写一版，跑一下，再根据报错改"，这种反复试错式的工作流在83%到90%的运行里都出现过。这跟真实世界里程序员改bug的工作方式其实挺像，没有谁能一次性写对，都得靠跑起来之后看日志、改、再跑。

研究者还做了个很实在的消融实验，给AI配不配套的游戏模组技能提示（比如告诉它Fabric的注册规范是什么样）到底有没有用。结果显示，配上这些通用的生态知识后，GPT-5.6 Luna的整体WSR从57.3%涨到64.5%，尤其是在L4这种系统级任务上，从33.3%猛涨到63.0%。但同样的提示对视觉素材质量没有正向帮助，甚至还略微拉低了。这说明这类生态知识主要帮AI理解"这个游戏的代码该怎么接进去"，跟美术审美是两条完全不搭边的能力线。

这篇论文发表后，会不会有人接着往下做

研究者在论文里明确指出，这套思路不是只能用在Minecraft和Terraria两款游戏上。他们还顺手在另外三款游戏PEAK、Palworld、Starbound里跑了一些定性的案例，验证属性、实体、动态这几类干预照样能套用，只是暂时没有做成正式的量化基准。这给出了一个明确的信号：世界编辑这件事，本质上是一种可以推广到任意可执行世界的通用能力，游戏只是当下最好拿来验证的试验场，不是问题的边界。

论文里有一张失败案例的图特别值得多看一眼。里面展示了一个L4系统级改动失败的例子，玩家破坏了一个方块之后，系统却出现了意外的物品复制bug。这类bug在真实游戏开发史上也屡见不鲜，经济系统一旦被破坏性复制漏洞攻陷，整个游玩体验就会崩掉。这张图直观地印证了前面的数据结论，层级越高，牵连的系统越多，一步错就可能引发连锁反应。

Q&A

Q1：IGMBench是什么？

A：IGMBench是论文提出的世界编辑测试集，包含110个任务和超过1100条评测标准，分布在Minecraft和Terraria两款游戏的四个干预层级上，用来衡量AI智能体修改游戏世界的能力。

Q2：当前哪个AI模型在IGMBench上表现最好？

A：GPT-5.6 Sol表现最强，严格任务成功率达到78.2%，标准通过率达到94.8%，但在改动层级越深的系统级任务上，所有模型的成功率都明显下降。

Q3：AI改游戏世界失败主要卡在哪一步？

A：绝大多数失败不是代码编译不过或游戏加载崩溃，而是游戏能正常运行，但实际表现出的行为不符合要求，尤其是深层改动容易出现新内容和原有系统互动失调的问题。