中国科学院自动化研究所：AI智能体如何在"模拟世界"里越练越强？一份关于智能体训练环境的完整解读

这项由中国科学院自动化研究所认知与决策智能复杂系统重点实验室主导完成的综述研究，以预印本形式于2026年6月发布在arXiv平台，论文编号为arXiv:2606.12191，题目为《Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application》。对于任何想了解当前最先进AI系统是如何被训练和测试的人来说，这份研究提供了迄今为止最为系统和全面的梳理。

说到底，人类是怎么学会开车的？靠的是真实的路况、不断犯错、即时的反馈，以及随着熟练程度提升而逐渐加大的挑战。一个完全没上过路的司机，光看书是学不会驾驶的。当今最强大的AI大语言模型（Large Language Model，简称LLM），正面临同样的困境——它们可以读遍互联网上所有的文字，但如果没有一个能让它们"上路练习"的环境，就永远只是一个会说话的百科全书，而不是真正能完成任务的智能助手。

这正是"智能体环境工程"（Agentic Environment Engineering）这个概念的出发点。GPT-5.4、Gemini-3.1-Pro、Kimi K2.5这样的顶级模型，已经展现出惊人的"代理"能力——它们能调用工具、制定长期计划、甚至自我改进。而支撑这一切的，是一套精心设计的"模拟驾校"——智能体环境。这份综述就是对这套"驾校系统"的全面解析：它是如何建造的，如何评价它的好坏，以及AI智能体在里面是如何越练越强的。

一、为什么AI需要"模拟驾校"，而不是直接上真实世界

要理解这项研究的价值，得先想清楚一个问题：既然我们希望AI能在真实世界里工作，为什么不直接让它在真实世界里训练？

答案很简单：真实世界太贵、太危险、也太难复现。让一辆自动驾驶汽车在真实马路上学习，每一次错误都可能造成事故。让一个医疗AI直接在病人身上练习决策，风险不言而喻。更何况，真实世界里发生的事情无法重复——你没办法让同一场车祸再来一次，让AI从中重新学习。除此之外，收集真实世界数据的成本极高，而且涉及隐私保护的问题。

于是，研究者们的解决方案是：建造"模拟驾校"——也就是这篇论文的核心研究对象，智能体环境（Agentic Environment）。这是一种动态的、可交互的模拟系统，让AI智能体可以在里面反复练习、犯错、获得反馈，然后改进。就像电子游戏里的练习模式，玩家可以不断重试同一个关卡，直到掌握技巧。

这套"模拟驾校"系统的重要性体现在三个时期：在训练阶段，它提供海量的交互数据让AI学习；在推理阶段，它给AI提供实时反馈帮助做出更好决策；在评测阶段，它是衡量AI能力的标准考场。理解这套系统，就是理解当代最先进AI系统的核心运作逻辑。

这篇综述围绕三个核心问题展开。第一，智能体环境有哪些关键特征和分类？第二，如何系统地构建和评价这些环境？第三，这些环境如何推动AI智能体和环境本身的持续进化？接下来，就像拆解一辆赛车一样，我们一个部件一个部件地看。

二、智能体环境的"零件说明书"：八个维度看清一个环境

就像描述一辆汽车需要说明它的排量、驱动方式、变速箱类型一样，描述一个智能体环境也需要从多个维度来刻画。这份综述识别出了八个关键维度，理解这八个维度，就能看清任何一个智能体环境的本质。

第一个维度是"符号式还是神经式"，也就是环境的运作机制是用代码规则驱动，还是用神经网络模型驱动。符号式环境就像一个规则明确的棋盘游戏，所有的状态转换都由精确的程序代码控制，可靠、可重复、可验证。比如用Python代码搭建的软件工程测试环境，每次运行代码的结果都是确定的。神经式环境则像一个由AI生成的虚拟世界，用神经网络来预测"下一步会发生什么"，更灵活，但也更难控制。WebDreamer就是这样一个典型案例——它用一个大语言模型来模拟网页的状态变化。

第二个维度是"开环还是闭环"，关键在于AI在采取行动之后，能不能看到结果并据此调整。开环系统就像一封写好后就寄出去的信，写完了，结果如何与你无关；闭环系统则像一次面对面的对话，你说了话，对方有反应，你再根据反应调整下一句。在AI训练中，闭环系统更接近真实智能的工作方式，也是主流。

第三个维度是"在线还是离线"。在线环境允许AI实时与环境互动，每一步行动都会触发新的状态；离线环境则是让AI对着预先录制好的历史轨迹进行学习，相当于看回放录像，而不是亲自上场。WebArena就是一个典型的在线环境，AI在里面真实地点击网页、填写表单；而Mind2Web早期版本则更多是离线的，AI对着截图猜测应该做什么操作，没有真实的执行反馈。

第四个维度是"完全可观测还是部分可观测"，也就是AI能看到整个环境的全部信息，还是只能看到一部分。国际象棋是完全可观测的——棋盘上所有棋子都看得见；扑克牌是部分可观测的——你只能看到自己的手牌。大多数真实场景，比如浏览网页、操作电脑，都是部分可观测的，因为网页只显示当前视口，AI无法同时看到所有标签页的内容。

第五个维度是"确定性还是随机性"，即同样的操作是否每次都产生同样的结果。点击一个精确定义的按钮，结果是确定的；但在一个真实网络上搜索信息，结果会随时间变化，因为网站内容在更新，这就是随机性。BrowseComp这样的基准测试，要求AI在真实互联网上寻找生僻信息，就是典型的随机性环境——你永远不知道会遇到什么。

第六个维度是"离散动作还是连续动作"，也就是AI的可选行动是有限几种，还是无限多种连续数值。文字游戏里，AI只能选"向左走"、"捡起物品"等有限命令，这是离散的；机器人控制手臂时，关节角度可以是任意实数，这是连续的。大语言模型通常更擅长处理离散动作，但随着具身智能的发展，处理连续动作的需求也在增加。

第七个维度是"单模态还是多模态"，即环境只提供文字信息，还是同时提供图像、视频、音频等多种感官信息。早期的文字冒险游戏是纯文字的单模态环境；VisualWebArena则要求AI同时理解网页的文字和图像，是多模态的。AgentStudio更进一步，提供文字、图像和视频的综合环境。随着现实应用场景的多样化，多模态环境正在成为主流。

第八个维度是"单智能体还是多智能体"，即环境里是只有一个AI在独立行动，还是多个AI在共同协作或相互竞争。大多数现有环境都是单智能体的；而多智能体环境，比如让多个AI一起玩狼人杀游戏的AvalonBench，或者让多个AI分工合作完成烹饪任务的Collab-Overcooked，则更接近真实世界中人与人协作的复杂场景。

这份综述指出，当前研究的两大主要薄弱点正好落在第八和第一维度上：多智能体环境的设计远远落后于实际需求，而如何把符号式系统的可靠性和神经式系统的灵活性结合起来，也是一个尚未解决的核心难题。

三、AI的"驾校科目"有多少种：八大训练领域全景图

有了理解环境属性的工具，接下来看看现有的"驾校"都在教哪些科目。这份综述将现有的智能体环境按照任务领域分成了八大类，覆盖了从最日常的电脑操作到最专业的科学研究的全方位能力。

第一类是图形界面（GUI）环境，也就是让AI操作真实的计算机界面。这分为三个子领域：桌面端、移动端和网页端。桌面端的代表是OSWorld和WindowsAgentArena，评测AI完成打开文件、调整设置、跨应用操作等日常电脑任务的能力，挑战在于需要长时间规划和跨应用协调。移动端的代表是AndroidWorld和MobileWorld，专注于在手机屏幕上完成点击、滑动、输入等操作，难点在于屏幕空间小、页面切换深、界面布局各app各不相同。网页端的代表是WebShop、WebArena和VisualWebArena，这里的AI要完成网上购物、信息检索、填写表单等任务，难度在于网页内容同时包含文字、图片和复杂的交互逻辑。GUI领域的发展轨迹是从静态截图标注，逐渐走向可执行、可重现、长流程的真实交互。

第二类是深度研究（Deep Research）环境，考验的是AI在互联网上系统性搜集、整合、分析信息并最终产出研究报告的能力。这分为三个层次：信息搜索、多源推理和研究报告写作。SimpleQA考验精确事实检索；WideSearch考验大规模信息收集；BrowseComp考验需要在多个页面之间追踪线索、综合证据才能回答的难题，就像破案中需要把来自不同目击者的证词拼在一起。更高层次的DeepResearch Bench和DR-BENCH则评估AI生成高质量研究报告的全链路能力，不只看答案对不对，还要看来源是否可靠、逻辑是否严密、覆盖是否全面。

第三类是具身（Embodied）环境，让AI扮演机器人或虚拟角色，在三维空间里移动和操作物体。空间导航类任务（如Habitat、Room-to-Room）考验AI能否根据自然语言指令找到目标地点；物理操纵类任务（如RLBench、Robocasa）考验精确抓取、放置、装配物体；长视野规划类任务（如ALFRED、ALFWorld）要求AI把"准备一顿早餐"这样的复合目标分解成一系列连贯的子步骤。这类环境从狭窄的技能测试，逐步走向更真实、更通用的交互场景。

第四类是游戏（Game）环境，包含五种子类型。开放世界游戏（以MineDojo为代表，基于Minecraft）测试长期探索和目标完成能力；谜题推理游戏（如Baba Is AI、SmartPlay）考验规则理解和逻辑推理；社交推理游戏（如AvalonBench狼人杀、TextArena）考验多智能体间的欺骗、推理和协作；冒险任务游戏（如BALROG）考验长期规划和多阶段目标追踪；策略管理游戏（如CivRealm文明风格游戏、Factorio工厂建设）考验宏观资源管理和长远战略决策。游戏环境的优势在于规则明确、结果可量化，非常适合作为能力测试的基准。

第五类是工具使用（Tool）环境，评测AI正确调用外部工具、API、数据库来完成任务的能力。传统工具使用类（如API-Bank、ToolBench、AppWorld）考验在固定工具集内选对工具、传对参数；用户模拟工具使用类（如τ-bench、UserBench）在工具调用的基础上加入了用户交互的复杂性，AI需要理解用户意图、澄清模糊指令、动态调整策略；基于MCP协议的工具使用类（如MCPVerse、MCP-Bench）是最新兴的方向，MCP（模型上下文协议）是一种标准化的工具调用接口，让AI能够连接标准化的真实世界服务，比如GitHub、Notion等平台。

第六类是代码（Code）环境，覆盖软件开发的全生命周期。代码生成（如BigCodeBench、LiveCodeBench）考验从需求描述生成可运行代码；代码理解（如NL2Repo-bench）考验读懂整个项目仓库结构和接口关系；代码验证（如KernelBench）考验利用测试和执行结果判断代码正确性；代码调试（如SWE-Bench）则是最接近真实软件工程的任务，AI需要根据错误信息和测试失败找出bug并修复，而且往往需要在复杂的大型代码库里定位问题。SWE-Bench因其高度真实性而成为衡量代码AI能力的黄金标准。

第七类是领域专用（Domain-Specific）环境，针对医疗健康、科学技术和金融投资等专业领域。MedAgentBench和MedAgentGym评测AI在临床电子病历操作和医疗决策中的表现；ScienceAgentBench和MLE-bench考验AI辅助科学研究和机器学习实验的能力；FinDeepResearch和Finance Agent Benchmark评测AI进行金融分析和投资决策的能力。这类环境要求AI不仅懂通用技能，还必须掌握领域专业知识并遵循行业规范。

第八类是跨领域（Cross-Domain）环境，考验AI在异质任务之间的泛化能力。OpenAI Gym建立了多环境统一接口的早期框架；AgentBench在多个交互环境下统一评测推理和决策；AgentBoard提供了更细粒度的过程分析框架；GEM提供了类似健身房的多环境训练平台；AutoEnv则走得更远，它能自动生成各种异质环境，专门测试AI在从未见过的新环境中的适应能力。

四、工厂怎么造"驾校"：智能体环境的自动化合成

手工建造一个智能体环境就像手工打造一辆汽车——精度高、品质好，但耗时耗力，产量有限。为了大规模、高效地生产出多样化的训练环境，研究者们开发了自动化环境合成技术。这份综述将现有方法分成两大流派：符号合成和神经合成。

符号合成就像用标准化零件来组装汽车，核心是用代码和规则来构建环境，保证每一步的逻辑都是可验证的。符号合成又细分为三种路径，可以想象成从"改造现有产品"到"从零设计新产品"的渐进过程。

第一种是任务驱动合成，思路是把现有的静态数据集（比如数学题、代码问题）包装成可交互的环境。SWE-Gym的做法是把GitHub上的真实代码仓库和对应的修复方案打包成Docker容器，创造出可执行的软件工程训练环境；SWE-smith则通过多智能体协作（分工为环境构建者、单元测试创建者、问题陈述写作者三个角色）大幅提升了这类环境的生产规模。AgentScaler则把约三万个来自不同数据集的API接口包装成多样化的工具使用环境。这条路径的优势是充分利用现有数据的质量，劣势是受限于原始数据的覆盖范围。

第二种是真实世界驱动合成，思路是把复杂的真实世界系统（网页、游戏、操作系统）简化映射成虚拟训练环境。AgentSynth利用"信息不对称"原理来降低成本——把一个复杂的长任务拆成很多简单的子任务来执行，然后把执行结果拼接成完整的训练数据，因为生成简单步骤远比解决整个复杂问题容易。OSWorld-MCP率先将图形界面操作与标准化的MCP工具调用融合在一起，弥补了纯视觉操作和纯文本工具之间的鸿沟。AI Gamestore则从Steam游戏平台和App Store抓取真实人类游戏，构建出一个多样化的游戏评测生态。AutoWebWorld更进一步，用有限状态机来建模网站的状态转换逻辑，从而能够系统地枚举和验证所有可能的用户路径。这条路径的优势是高度真实性，劣势是需要大量工程工作来简化复杂系统。

第三种是从零合成，也是最具野心的路径——完全依赖生成模型，不需要任何真实世界的数据输入，凭空创造出新的环境。AutoForge的做法是先让生成模型构建工具之间的依赖图谱，再据此生成复杂的多工具工作流任务；LOGIGEN引入了"前向逻辑推演合成"的概念，让一个"架构师"智能体把规则编译成物理环境，改变了以往"先有环境再生成任务"的反向合成路径；InfiniteWeb则从轻量级规格说明出发，自动生成功能完整的网站，包括对应的任务和评分逻辑。gg-bench走了一条完全不同的路：用随机采样发明全新的双人游戏规则，避免训练数据污染。这条路径的终极优势是理论上无限的扩展性，难点是如何保证自动生成内容的逻辑自洽性和执行正确性。

相比于符号合成，神经合成走的是另一条完全不同的路：不是用代码规则来管理环境，而是用神经网络直接学习并模拟环境的动态变化，也就是"世界模型"（World Model）。神经合成同样分为三种范式，可以用"信息的抽象程度"来区分。

像素级建模是最直接的方式，直接对原始图像或视频信号进行预测。DIAMOND用扩散模型（Diffusion Model）学习Atari游戏画面的时序变化，能够生成逼真的游戏视频；NeuralOS更进一步，尝试模拟整个操作系统界面的持续状态变化；DreamGen利用视频世界模型为机器人生成合成训练轨迹；Cosmos则是英伟达推出的通用物理AI世界模型平台，在大规模私有数据上训练，支持多种具身AI场景。这种方式的优势是保留了最丰富的感知细节，劣势是计算量巨大、信息冗余度高。

词语级建模用自然语言作为表示环境状态的媒介，把环境的动态转换翻译成文字描述。WKM让语言模型同时生成任务知识（完成任务需要了解什么）和状态知识（当前处于什么状态），为决策提供先验引导；WebDreamer直接用大语言模型作为网页世界模型，通过文字描述来预测"点击某个按钮之后网页会变成什么样子"，从而在真实交互之前进行规划；Code2World则用可渲染的代码（HTML）来表示GUI状态，通过语言模型生成代码来预测界面变化。这种方式的优势是高度抽象、计算高效，劣势是可能丢失视觉细节，且模型幻觉容易导致错误预测。

潜在表示级建模是最前沿的方向，在神经网络内部的低维隐空间中学习环境的结构化表示。I-JEPA开创性地提出在潜在空间中预测图像块的表示，而不是像素本身，促使模型学到语义层面的理解而非表面纹理；V-JEPA 2在一百万小时的互联网视频上预训练，然后只用62小时的机器人数据进行微调，就实现了零样本的机器人操作规划，展示了预训练大模型在世界建模上的惊人迁移能力；DINO-WM则利用冻结的DINOv2视觉特征提取器来学习环境动态，避免了从头学习视觉表示的高昂代价。这种方式的优势是信息紧凑、泛化性好，劣势是可解释性差，且依赖于预训练表示的质量。

五、"驾校"造好了，怎么检验它合不合格：环境质量的四维评价

并不是所有的"驾校"都是好驾校。一个设计糟糕的环境不仅没有训练价值，还可能把AI引向错误的方向。这份综述总结了评价环境质量的四个维度，就像验收一辆新车需要检查安全性、操控性、舒适性和油耗一样。

正确性是最基本的门槛，就像验收一辆车首先要确认它能正常发动、不会突然熄火一样。环境的正确性包括三个层面：状态转换是否符合逻辑、任务是否确实可解、评分机制是否给出正确的奖惩信号。对于符号合成的环境，常用的验证手段是沙箱执行和单元测试——直接运行代码看有没有报错，就像试驾一辆车看刹车灵不灵。SWE-Gym通过执行测试来验证代码修复任务的可解性；AI Gamestore用专家评分和人类中位数表现来校准游戏难度。对于神经合成的环境，正确性更多体现在生成内容是否符合给定的语义约束，DreamGen用多模态大模型评估生成视频是否忠实遵循语言指令。

多样性关乎训练的广度，就像一个好驾校应该有城市道路、高速公路、雨天、夜间等各种路况，而不是只在同一条直路上反复练习。环境的多样性评估关注任务类型是否覆盖广泛、状态空间是否丰富、工具组合是否多变、语言表述是否多样。常用的量化手段是嵌入相似度分析——把所有任务转化为向量，看这些向量是否均匀分布在空间里，还是扎堆在某个角落。Agent World Model用基于嵌入的去重来防止任务场景崩塌；V-GameGym用聚类算法从大量代码仓库中挑选多样化的游戏种子；神经合成环境中，Genie Envisioner通过计算相同指令下多次生成结果之间的CLIP特征相似度来量化生成多样性。

复杂性关乎训练的深度，一个好的驾校不能全是直路，也不能全是技术性极强的弯道——任务难度必须在"太简单没收获"和"太难无从下手"之间找到平衡点。评估复杂性的方法包括结构参数（任务需要多少步骤、涉及多少工具调用）和基准表现校准（用强模型或人类的成功率来衡量任务难度）。AutoForge通过工具依赖图的复杂度控制任务难度；LOGIGEN通过注入多变量条件和状态相关约束来精细调控逻辑复杂性；NL2Plan按最优计划长度将规划任务分为短、中、长三档；gg-bench则用强化学习自对弈的胜率差来过滤掉缺乏区分力的游戏。神经合成环境中，WebDreamer通过调整规划步数（1步、2步、3步）来控制预测深度；RAP通过缩放蒙特卡洛树搜索的迭代次数来增加搜索复杂度。

忠实度关乎训练的真实感，即环境在多大程度上真实反映了它所模拟的目标系统。这超越了"任务能不能完成"的层面，追问的是"任务的完成方式是否符合真实逻辑"。一个软件工程环境里的任务，即使技术上可以运行，如果它的bug模式与现实项目中的bug完全不同，这个环境就缺乏忠实度。符号环境的忠实度主要通过对比合成规则与参考系统的一致性来评估，OSWorld-MCP依靠专家审查来确认合成工具是否具有真实使用价值。神经合成环境则更多依赖感知分布相似度，GameNGen和DIAMOND使用FID（Fréchet Inception Distance）、FVD（Fréchet Video Distance）等指标衡量生成画面与真实游戏画面之间的分布差距；WebWorld引入了"网页图灵测试评分"，用大语言模型来判断生成的网页环境是否与真实网页无法区分；EnerVerse则加入专家对机器人行为连续性和稳定性的主观评估。

这四个维度的评价体系揭示出一个重要缺口：正确性的评估方法已经相当成熟，但多样性、复杂性和忠实度的定量评估仍然处于早期阶段，缺乏统一标准和完善的工具，这是未来研究需要重点突破的方向。

六、AI在"驾校"里是怎么练功的：智能体进化的四条路径

有了好的驾校，AI智能体是如何利用它们来提升能力的？这份综述将现有的智能体进化方法归纳为四大类，可以用"外功"和"内功"来区分前两类与后两类。

第一条路径是记忆驱动的经验积累，属于外功的第一种——积累和调用过往经验。就像一个老司机在大脑里存储了各种路况的应对经验一样，这类方法让AI把历史交互轨迹和从中提炼的知识存入外部记忆库，遇到新任务时检索相关记忆来辅助决策。根据记忆的抽象程度，又分为三个层次。

最具体的是实例轨迹记忆，直接存储完整的交互记录，就像保存一段操作录像。Synapse把完整的网页操作轨迹作为示例提供给模型，帮助它在类似任务中参考。WorldMM使用多类别记忆系统，其中视觉记忆存储关键场景的图像细节。这类记忆最详细，但泛化性最差——录像里的路况和今天遇到的路况不一定一样。

更抽象的是脚本式经验，把多条轨迹中的共性模式提炼成可复用的操作流程，就像把多次成功的驾驶经验总结成一套"高速公路驾驶手册"。Reasoning Bank从成功和失败的轨迹中提取通用推理策略；AWM自动从网页任务轨迹中提炼工作流记忆，可以跨网站迁移使用；O-Mem将经验进一步细化为个人画像记忆、工作记忆和情节记忆三个类别，支持个性化的长期记忆管理。

最抽象的是结构化技能库，把能力封装成可以按需调用的模块化技能，就像把驾驶技能分解为"倒车入库"、"超车"、"路边停车"等独立技能，根据需要组合调用。SkillWeaver让AI自主发现网站功能并将其封装为Python API技能函数；SkillRL把冗余的原始轨迹蒸馏成层级化的技能库，技能库和策略学习同步进化；SAGE建立技能库并通过顺序展开机制重用技能，同时用基于技能的奖励激励生成和使用高质量技能。

第二条路径是编排驱动的工作流进化，属于外功的第二种——设计和优化多步骤、多角色的任务执行架构。固定工作流就像按照固定程序运作的流水线工厂，MetaGPT将软件开发标准操作规程硬编码为多智能体流水线，Agentless用三阶段固定流程（故障定位、修复、验证）解决软件bug，证明明确的分工有时比复杂的自主规划更有效。自动化工作流引入了一个"调度员"智能体，根据任务动态分配工作，Workforce将任务拆解为规划器、协调器和执行器的三层结构；MaAS（多智能体架构搜索）通过有向无环图来搜索最优的智能体组合方式。进化式工作流则走得更远，允许系统在运行中自我修改架构，LATM让智能体扮演"工具制造者"，将Python函数写入持久缓存扩大系统能力边界；AFlow通过蒙特卡洛树搜索自动优化工作流的节点和连接方式；Chain-of-Agents则把整个多智能体工作流蒸馏进单个模型，通过强化学习进一步优化。

第三条路径是轨迹驱动的离线进化，属于内功的第一种——通过大量合成的高质量交互数据来精调模型参数，也就是通常所说的监督微调（SFT）。这个过程分为三个环节：任务合成、轨迹合成和轨迹精炼。任务合成决定AI需要练习什么题目，常见方法包括对现有资源进行改造标注（如ToolBench给API调用加注释）、让AI先探索环境再回过头来提问（OS-Genesis在GUI里逐步操作，然后从操作轨迹反推任务指令），以及基于图结构来系统生成多跳复杂任务（DeepDive在知识图谱上随机游走构建复杂问答）。轨迹合成决定如何生成练习过程，常用方法包括轨迹增强（为现有轨迹添加推理步骤）、顺序交互（让AI与环境一步步交互生成轨迹）、树搜索（用MCTS等算法找出最优路径）和模型模拟（用模拟用户、模拟工具或世界模型来生成轨迹）。轨迹精炼决定如何保证训练数据的质量，包括规则过滤（剔除明显错误的轨迹）、错误纠正（找到错误点并生成修正示范），以及迭代精炼（将生成、验证、纠正和重训练连成闭环，随着模型能力提升不断推进数据难度前沿）。

第四条路径是探索驱动的在线进化，属于内功的第二种——通过强化学习让AI在实时与环境的交互中不断优化策略。这分为三个设计层面。推理结构设计关注在决策流程中嵌入结构化的思考框架：Search-R1给推理过程加入专门的思考、搜索、反馈和回答四类标签；AutoRefine在每次检索后增加一个显式的证据过滤和整理步骤；M3-Agent通过外部记忆工具在推理前建立角色与记忆的关联。奖励机制设计关注如何给出正确的激励信号：ToolRL将工具调用能力转化为格式、正确性和过程奖励的组合；GDPO对准确性、格式和长度奖励进行解耦归一化处理，防止信号崩溃；IntentRL为深度研究任务设计了融合答案奖励、格式奖励、重复惩罚和效率奖励的多维奖励函数。训练算法优化关注如何让训练过程更稳定、更高效：GiGPO提出锚状态分组机制，把从同一状态出发的不同行动聚合成步骤级别的组来优化，解决了长序列任务中稀疏奖励导致的信用分配难题；RAGEN在采样过程中保留奖励方差较高的轨迹，避免模型过拟合到特定样本；ComputerRL交替进行在线强化学习和监督微调更新，通过强制注入成功经验来对抗训练后期的熵崩溃问题。

七、"驾校"本身也在进化：环境的三种演进方式

智能体的进化与环境的进化，是一个双向的动态过程——AI越强，需要越难的环境来继续提升；而环境的质量和复杂度，也直接决定了AI能进化到什么程度。这份综述将环境的进化方式归纳为三大范式。

神经驱动进化把环境本身看作一个可以学习和优化的神经模型。其中最引人注目的是自对弈（Self-Play）机制：让AI同时扮演出题者和答题者，通过自我生成挑战来推动进化。Absolute Zero是这一理念的极端形态，让同一个模型同时承担任务提出者和任务解决者两个角色，通过自我出题、自我解答、从解答结果中学习的闭环来持续自我提升，完全不依赖任何外部数据。Self-Challenging将这个框架扩展到工具使用场景，同一个模型先充当挑战者合成可验证的任务，再切换为执行者从中学习。Active Zero则引入多角色协作，设置搜索者、提问者和解题者三个角色，主动检索边界案例，构建越来越有挑战性的训练任务。世界模型驱动的神经进化则是另一个方向：把环境本身建模为一个独立的神经网络来近似真实系统的动态，然后通过优化这个神经网络来适应智能体的学习需求。Code2World让语言模型学习GUI状态转换的代码表示，并通过渲染感知强化学习来对齐预测与视觉结果；WebEvolver联合演化世界模型和智能体策略，世界模型既用于生成训练轨迹，也用于规划时的前瞻模拟；WebWorld在超过百万条真实交互轨迹上训练大规模网页模拟器，实现了长视野的结构化状态预测。

难度驱动进化采用课程学习（Curriculum Learning）的理念，核心是让环境的难度始终保持在"对AI当前能力来说既有挑战又能完成"的最佳区间。这就像一个好教练总是给运动员安排比现有水平稍高一档的训练强度。显式课程信号方法直接用可量化的指标来控制难度调整：RLVE追踪AI在当前难度上的成功率，当成功率超过阈值时，就把问题分布向更难的实例偏移；SCALER用在线难度控制器调整任务难度，目标是把AI的成功率保持在一个目标区间内，既不太高也不太低；GenEnv设计α课程奖励，鼓励生成那些AI成功率恰好处于目标范围内的任务，让环境难度动态跟随AI能力前沿。隐式课程机制方法则不直接控制难度，而是通过自适应任务生成或环境构建让难度梯度自然涌现：POET开创性地联合演化环境和智能体，通过变异、最低标准过滤和迁移机制，让越来越复杂的障碍跑道环境自然涌现出来；DreamGym通过合成挑战当前策略的高奖励熵任务来自适应地生成课程；DataEnvGym把学生的错误和薄弱技能转化为教师生成训练数据和调整环境的明确信号，实现学生反馈驱动的教学资源动态生成。

规模驱动进化聚焦于扩大环境分布本身的覆盖广度，让AI接触到更多样化的场景和结构。场景级扩展在同一个交互范式内增加更多任务实例和场景变体：EnvScaler通过两阶段流程（先构建环境骨架，再实例化为具体场景）大规模生产工具交互训练环境；AutoForge基于工具依赖图和推理约束组合出更复杂的工作流；InfiniteWeb从轻量级规格说明自动生成功能完整的网站，以及对应的任务和评分逻辑。环境级扩展则走得更远，直接扩展环境本身的分布，引入异质的应用设置和环境结构：ARE提供了一个统一的平台，支持在异构应用（包括合成环境和真实世界应用集成）之间灵活配置规则、工具、内容和评估协议；AutoEnv把环境建模为转换、观测和奖励三个因子的可分解分布，允许系统地生成具有不同动态机制和反馈结构的异质环境，从而研究跨环境学习和泛化的规律。

八、"驾校"面临的挑战和未来的方向

这份综述不仅是一次全面的现状盘点，也是一次坦诚的问题诊断，并提出了若干颇具前瞻性的研究方向。

环境即服务（Environment-as-a-Service，EaaS）是一个关于基础设施标准化的愿景。当前研究面临的一大痛点是，不同环境在观测格式、动作空间定义、奖励机制设计和交互协议上各不相同，研究者每接触一个新环境就要重新适配，这大大增加了跨环境研究的成本，也让结果难以横向对比。EaaS的核心理念是把环境封装为云端托管的标准化API服务，研究者通过统一接口与不同环境交互，不需要管理底层依赖和运行时配置。这就像把驾校课程从需要自己维护一整个停车场，变成只需要预约一个标准化的考试服务。

环境属性的进化是另一个紧迫议题。现有环境大多是静态的、短视野的、封闭的、单模态的，这与真实世界的动态性、长视野性、开放性和多模态性相去甚远。未来需要的环境应该能够在AI操作过程中动态改变状态（比如网站内容实时更新），支持影响长达数十步乃至数百步的决策链条，处理持续涌现的新任务和不断扩展的状态空间，以及整合文字、图像、视频、音频和传感器信号等多种模态。

从单智能体走向多智能体环境是最重要的结构性转变之一。现实世界中大量任务天然是多主体协作完成的：一个复杂的研究项目需要信息搜集、数据分析、写作润色等不同角色分工；一场谈判需要多个立场不同的参与者博弈。多智能体环境不仅更接近现实，还可能催生出单智能体场景中难以观测到的涌现智能和协作行为。然而，多智能体设置也带来了非平稳性（每个智能体的最优策略随其他智能体行为变化而变化）、信用分配困难（合作成功是谁的功劳？）等根本性挑战。

神经符号混合环境代表了一个可能的技术融合路径。纯符号环境可靠、可验证，但灵活性差，难以模拟开放世界的复杂性；纯神经环境表现力强、扩展性好，但透明度低、稳定性差、结果难以验证。未来理想的环境可能需要在两者之间找到平衡：用符号框架来保证逻辑的可靠性和结果的可验证性，用神经模型来填充符号框架难以描述的丰富感知细节和复杂动态。

缩小仿真到真实的差距是具身AI领域的核心挑战，也是所有环境研究的终极考验。即使合成环境在技术指标上达到很高水准，AI在其中训练出来的策略到了真实世界往往出现显著的性能下降，这是因为合成环境在正确性（存在逻辑错误）、难度（过度简化）、多样性（分布过窄）和忠实度（感知细节不够真实）等多个维度上与现实存在差距。解决这个问题需要在保持可扩展性和可控性的同时，持续提升合成环境的真实感。

智能体与环境的协同进化是一个更宏观的思维框架转变。传统研究把环境看作固定不变的测试台，只有AI在进化；更先进的视角是把AI和环境看作相互适应的共生系统，环境应该根据AI的能力变化动态调整，AI的进步反过来又驱动环境变得更复杂、更多样化。课程学习已经是这个方向的初步探索，未来需要更系统化的环境自动进化机制。

最后，建立环境工程的科学基础是一个关于这个领域应该走向何处的根本性问题。当前的环境建造主要还是经验性的，缺乏理论框架来回答：需要多少不同的环境才能训练出某种能力？环境的多样性如何影响AI的泛化能力？什么类型的环境能培育什么类型的元能力（如长期记忆、任务分解、世界建模、战略规划）？这些"环境工程科学"的基础问题，将决定未来一代AI系统的能力上限。

说到底，这份综述做的事情，是把目前AI领域最核心但最少被系统研究的基础设施——智能体训练环境——梳理成了一幅完整的地图。这张地图告诉我们，一个AI系统变得更聪明更能干的背后，是大量精心设计的"模拟驾校"在支撑；而驾校本身的设计、质量控制和持续改进，是一个同样重要、同样复杂的工程挑战。对于有兴趣深入了解这一领域全貌的读者，完整论文可以通过arXiv编号2606.12191查阅原文，这份超过60页、覆盖数百项相关工作的综述，是目前关于智能体环境工程最系统的一次学术梳理。

Q&A

Q1：智能体环境和普通数据集有什么区别？

A：普通数据集是静态的，AI只能被动接受信息，就像只能看书而不能动手；智能体环境是动态可交互的，AI可以采取行动、看到结果、根据反馈调整策略，更像是真实的练习场。这种"闭环"机制让AI能学到书本上学不到的应对能力。

Q2：符号合成和神经合成的环境哪个更好？

A：两者各有优劣，无法简单判断哪个更好。符号合成的环境由代码驱动，可靠、可验证，适合需要精确反馈的任务；神经合成用神经网络模拟环境，更灵活、表达力更强，但稳定性差、结果难以验证。当前研究的一大挑战正是如何把两者结合起来，取长补短。

Q3：SWE-Bench是什么，为什么被认为是代码AI的黄金标准？

A：SWE-Bench是一个代码智能体评测基准，它把GitHub上真实软件项目中的bug修复任务打包成标准测试题，要求AI自主找到并修复真实代码库中的错误。因为它使用的是真实工程项目而非简化的练习题，能够测试AI在复杂、大规模代码库中的实际工作能力，所以被视为衡量代码AI实战水平的权威标准。