Meta推出ARE平台：让AI智能体像真人一样在手机环境中工作和协作

这项由Meta超级智能实验室团队完成的研究发表于2025年9月，论文编号为arXiv:2509.17158v1，有兴趣深入了解的读者可以通过该编号查询完整论文。研究团队开发了一个名为ARE（Meta智能体研究环境）的全新平台，并基于此创建了Gaia2基准测试，这项工作为人工智能领域带来了重要突破。

想象一下，如果你要训练一个AI助手帮你处理日常事务，比如回复邮件、安排会议、订外卖，你会希望它在一个什么样的环境中学习呢？传统的做法就像让学生只在教室里背书，却从不让他们走出校门面对真实世界的复杂情况。而Meta的研究团队意识到了这个问题：现有的AI训练环境太过简化，无法真正反映现实世界的复杂性。

现实生活中，当你让AI助手帮你安排一个会议时，可能会遇到各种突发情况：会议室突然被占用、参会者临时有事、系统出现故障等等。但目前大多数AI训练环境都是"理想化"的，就像一个永远不会出现意外的完美世界。这种环境下训练出来的AI，一旦面对真实世界的不确定性，往往会表现得手足无措。

正是基于这样的思考，Meta的研究团队开发了ARE平台。这个平台最大的特点就是"真实"——它创造了一个几乎和真实世界一样复杂多变的虚拟环境。在这个环境中，AI智能体需要像真人一样处理各种突发情况，学会在不确定性中做出正确决策。

一、ARE平台：为AI创造真实世界的训练场

ARE平台就像是为AI智能体建造的一个超级逼真的"虚拟城市"。在这个城市里，时间会流逝，事件会发生，环境会变化，就像真实世界一样。不同于以往那些静态的训练环境，ARE中的一切都是动态的、异步的。

传统的AI训练环境就像一个暂停的游戏世界——只有当AI做出行动时，世界才会响应，其他时候一切都静止不动。但在ARE中，即使AI在"思考"，世界也在继续运转。朋友可能会发来消息，会议时间可能会更改，新的邮件可能会到达。这种设计让AI必须学会在动态变化的环境中保持敏锐的反应能力。

ARE平台的核心理念是"一切都是事件"。在这个系统中，无论是用户发送一条消息，还是AI执行一个操作，甚至是系统自动更新某个状态，都被视为一个"事件"。这些事件按照时间顺序排列，形成了一个完整的事件链。这种设计让研究人员可以精确地追踪和分析AI的每一个决策过程，就像观看一部慢镜头回放的电影一样。

平台中包含了各种"应用程序"，比如邮件、消息、日历、联系人等，就像真实手机中的各种App一样。每个应用都有自己的状态和数据，AI可以通过调用不同的"工具"来与这些应用交互。比如，AI可以调用"发送邮件"工具来回复邮件，或者调用"查看日历"工具来检查日程安排。

更有趣的是，ARE还支持"通知系统"。就像你的手机会在收到新消息时推送通知一样，ARE中的AI也会收到各种通知。但这里有个巧妙的设计：研究人员可以调节通知的"噪音水平"。在低噪音模式下，AI只会收到最重要的通知；在高噪音模式下，AI会收到大量各种各样的通知，包括一些不相关的信息。这样的设计让AI必须学会在信息洪流中筛选出真正重要的内容。

二、Mobile环境：打造逼真的手机世界

基于ARE平台，研究团队创建了第一个具体的训练环境——Mobile。顾名思义，这是一个模拟手机使用场景的虚拟环境。为什么选择手机环境呢？因为现代人的大部分数字生活都发生在手机上，从发消息聊天到处理工作邮件，从网上购物到叫车出行，手机几乎承载了我们日常生活的方方面面。

Mobile环境包含了12个不同的应用，涵盖了现代人手机使用的主要场景。有用于沟通的消息和邮件应用，有用于时间管理的日历应用，有用于社交的联系人应用，还有用于生活服务的打车、购物、租房等应用。每个应用都有完整的功能和真实的数据。

为了让这个虚拟世界更加逼真，研究团队为每个环境创造了完整的"人物设定"和"背景故事"。比如，一个环境可能围绕一位退休的法国物理教授展开，另一个环境可能以一位中国职业运动员为主角。每个环境都有大约40万个词汇的原始内容，包括联系人信息、历史消息记录、邮件往来、日程安排等等。这些内容不是随机生成的，而是经过精心设计，确保各个应用之间的数据是相互关联、逻辑一致的。

在Mobile环境中，AI需要处理的不再是简单的单轮对话，而是复杂的多轮交互场景。比如，用户可能先让AI帮忙安排一个会议，然后在会议安排好后又要求修改时间，接着可能还会要求邀请额外的参会者。在这个过程中，环境中的其他"角色"也会有自己的行为，比如被邀请的人可能会回复说时间不合适，或者会议室可能突然被其他人预订了。

三、Gaia2基准测试：全面评估AI智能体能力

基于ARE平台和Mobile环境，研究团队开发了Gaia2基准测试。这个测试包含了1120个精心设计的场景，每个场景都是一个完整的"小故事"，需要AI智能体运用多种能力来完成任务。

Gaia2的设计理念是评估AI在真实世界中需要具备的核心能力。研究团队识别出了七个关键能力领域，每个领域都对应着现实生活中的实际需求。

搜索能力测试AI是否能够从多个信息源中收集和整合信息。比如，系统可能会问"我的朋友们大多住在哪个城市？"这个看似简单的问题实际上需要AI查看联系人信息，检查聊天记录来确定谁是真正的朋友，然后统计不同城市的人数。这就像让AI成为一个细心的调查员，需要从各种线索中拼凑出完整的答案。

执行能力测试AI是否能够正确地执行一系列操作。比如，"将所有24岁及以下的联系人年龄增加一岁"。这个任务需要AI先筛选出符合条件的联系人，然后逐一更新他们的信息。这考验的是AI的操作精确性和逻辑执行能力。

适应能力是Gaia2的一个重要创新点。在这类测试中，环境会在AI执行任务的过程中发生变化，AI需要根据新情况调整自己的策略。比如，AI正在帮用户安排看房，但朋友突然回复说想看另一套房子，AI就需要灵活调整计划。这就像在做菜过程中发现某个食材用完了，需要临时调整菜谱一样。

时间管理能力测试AI是否能够处理与时间相关的任务。比如，"给今天要见面的同事发消息询问谁负责叫车，如果3分钟内没有回复就自动叫车"。这种任务需要AI不仅要理解时间概念，还要能够在特定时间点主动采取行动。

处理歧义的能力测试AI面对不明确或矛盾指令时的反应。比如，用户要求"每天下午6点安排瑜伽课，从10月16日到21日"，但AI发现其中某些时间段已经有其他安排。一个聪明的AI应该主动询问用户如何处理冲突，而不是盲目执行可能错误的操作。

智能体协作能力是Gaia2的另一个亮点。在这类测试中，某些应用被替换成了独立的AI智能体，主要的AI需要与这些"同事"协作完成任务。这就像在一个团队中工作，每个人都有自己的专长，需要通过沟通协调来完成共同目标。

抗干扰能力测试AI在嘈杂环境中的表现。系统会故意引入各种干扰，比如工具偶尔失效、收到无关的消息等等。这模拟了现实世界中经常遇到的各种意外情况。

四、验证系统：确保评估的准确性

为了确保测试结果的可靠性，研究团队开发了一套精密的验证系统。这个系统的工作原理就像一个严格的考官，不仅要检查AI的最终答案是否正确，还要检查AI的整个解题过程是否合理。

验证系统采用了"标准答案对比"的方法。对于每个测试场景，人类专家会事先标注出完成任务所需的标准操作序列。然后，系统会将AI的实际操作与这个标准序列进行详细比较。这种比较不是简单的文本匹配，而是智能的语义理解。

比如，如果标准答案要求发送一封内容为"会议改到明天下午3点"的邮件，而AI发送的是"明天下午3点开会"，验证系统会识别出这两个表达在语义上是等价的，因此会判定为正确。但如果AI发送的是"明天上午3点开会"，系统就会发现时间不对，判定为错误。

验证系统还会检查操作的时序关系。比如，如果任务要求先查看日历再安排会议，而AI却反过来操作了，即使最终结果正确，系统也会指出流程上的问题。这种严格的验证确保了AI不仅要做对事情，还要用对方法。

为了验证这套验证系统本身的准确性，研究团队让人类专家手动标注了450个AI执行轨迹，然后比较人类判断和自动验证系统的判断结果。结果显示，自动验证系统的准确率达到了98%，远高于简单的基线方法。

五、实验结果：揭示当前AI的真实水平

研究团队使用Gaia2对当前最先进的AI模型进行了全面测试，结果既令人鼓舞又发人深省。

在整体表现上，最强的模型GPT-5（高推理模式）达到了42.1%的成功率，这意味着它能够正确完成大约四成的任务。Claude-4 Sonnet紧随其后，达到34.8%。这些结果表明，即使是最先进的AI模型，在面对复杂的现实世界任务时仍然有很大的提升空间。

更有趣的是不同能力维度的表现差异。在搜索和执行这两个相对基础的能力上，多数先进模型都表现不错，成功率普遍超过50%。这说明当前的AI已经比较擅长信息检索和基本操作执行。

但在更高级的能力上，AI的表现就显得力不从心了。在处理歧义的任务中，即使是最强的GPT-5也只有51.9%的成功率，其他模型更是大多低于30%。这反映了一个重要问题：当前的AI往往倾向于"想当然"地执行任务，而不是在遇到不确定情况时主动寻求澄清。

时间管理能力是所有模型的普遍弱项。大多数模型在这个维度上的成功率都接近于零，只有少数几个模型能达到5-8%的成功率。这说明让AI理解和处理时间相关的任务仍然是一个巨大的挑战。

在智能体协作方面，有一个有趣的发现：相对较弱的模型在协作环境中的表现提升更明显。这可能是因为协作可以让不同的AI发挥各自的优势，弱模型通过与其他智能体的交流能够获得额外的信息和指导。

成本效益分析显示了不同模型之间的权衡关系。GPT-5的高推理模式虽然性能最好，但成本也最高，执行时间也最长。相比之下，一些模型虽然性能略低，但在成本和速度上有明显优势。这为实际应用提供了重要的参考：根据具体需求选择合适的模型，而不是一味追求最高性能。

研究还发现了一个重要现象：随着预算增加，所有模型的性能提升都会逐渐放缓，最终趋于平稳。这表明仅仅增加计算资源并不能无限提升AI的能力，需要在模型架构和训练方法上寻求突破。

六、技术创新：异步交互的重要意义

ARE平台最重要的技术创新之一是引入了异步交互机制。在传统的AI测试环境中，AI和环境之间的交互是同步的——AI执行一个动作，环境响应，然后等待AI的下一个动作。这种模式虽然简单，但与现实世界的交互方式相去甚远。

在现实生活中，世界不会因为你在思考就停下来等你。当你在考虑如何回复一封重要邮件时，可能会有新的邮件到达，朋友可能会发来紧急消息，会议时间可能会发生变更。ARE平台通过异步机制模拟了这种现实情况。

这种异步设计带来了全新的挑战。AI不仅要能够处理当前的任务，还要能够同时监控环境变化，在必要时调整策略。比如，AI正在帮用户查找某个信息，但突然收到一条紧急消息，AI就需要判断是否应该暂停当前任务去处理紧急情况。

异步交互还让"主动性"成为了AI的一个重要能力。在同步环境中，AI只需要被动响应；但在异步环境中，AI有时需要主动采取行动。比如，在时间管理任务中，AI需要在特定时间点主动发送提醒或执行预定操作，而不是等待用户的指示。

七、多智能体协作：团队合作的新模式

Gaia2中的智能体协作测试开创了一个全新的评估维度。在这种模式下，原本由单一AI直接调用的应用工具被替换成了独立的AI智能体。主要的AI不能直接操作这些应用，而必须通过与专门的"应用智能体"沟通来完成任务。

这种设计反映了未来AI生态系统的一个重要趋势：不是由一个超级AI处理所有事情，而是由多个专门化的AI协作完成复杂任务。每个AI都有自己的专长领域，通过相互配合来实现更好的整体效果。

在协作过程中，AI需要学会很多新技能。首先是任务分解能力——如何将复杂任务拆分成可以分配给不同智能体的子任务。其次是沟通协调能力——如何清晰地向其他智能体传达需求，如何理解其他智能体的反馈。最后是整合能力——如何将来自不同智能体的信息整合成完整的解决方案。

实验结果显示，协作模式对不同能力水平的AI产生了不同的影响。对于能力相对较弱的AI，协作往往能带来显著的性能提升，因为它们可以从其他智能体那里获得帮助和指导。但对于能力已经很强的AI，协作的收益就相对有限，有时甚至可能因为协调成本而降低效率。

八、噪音和干扰：真实世界的复杂性

现实世界充满了各种不确定性和干扰，Gaia2通过"噪音"测试来评估AI在这种环境中的鲁棒性。这些噪音包括工具偶尔失效、收到无关信息、环境状态随机变化等等。

工具失效是最直接的一种干扰。在现实中，网络可能会断开，服务器可能会宕机，应用可能会崩溃。Gaia2通过设置10%的工具失效概率来模拟这种情况。当AI调用某个工具时，有一定概率会收到错误信息或无响应。这要求AI具备错误处理和重试机制。

信息噪音是另一种重要的干扰形式。在执行任务过程中，AI会收到各种无关的通知和消息，就像现实生活中我们经常被各种推送打断一样。AI需要学会从这些噪音中筛选出真正重要的信息，保持对主要任务的专注。

环境动态变化增加了任务的复杂性。比如，AI正在帮用户预订餐厅，但餐厅的可预订时间突然发生了变化；或者AI正在安排会议，但会议室突然被其他人占用了。这些变化要求AI具备实时适应能力。

实验结果显示，噪音对所有模型的性能都产生了显著影响。即使是最强的模型，在噪音环境中的成功率也会下降10-20个百分点。这说明当前的AI在处理不确定性方面还有很大的改进空间。

九、成本与效率：实用性的考量

除了性能评估，研究团队还特别关注了不同模型的成本效益比。毕竟，在实际应用中，性能并不是唯一的考量因素，成本和效率同样重要。

研究发现，不同模型在成本、性能和速度之间存在着复杂的权衡关系。GPT-5的高推理模式虽然性能最佳，但单次任务的成本可能是其他模型的数倍，执行时间也相对较长。对于那些对实时性要求较高的应用场景，这种模式可能并不适用。

相比之下，一些中等性能的模型在成本效益上表现更优。它们虽然在复杂任务上的成功率略低，但在简单任务上的表现足够好，而且成本低廉、响应迅速。对于大规模部署的应用来说，这种模型可能是更好的选择。

研究还发现了一个有趣的现象：增加计算预算对性能的提升效果会逐渐递减。当预算从0.01美元增加到0.1美元时，大多数模型的性能都有明显提升；但当预算进一步增加到1美元或10美元时，性能提升就变得很有限了。这说明简单地投入更多计算资源并不能无限提升AI的能力。

十、未来展望：通向通用人工智能的道路

Gaia2的实验结果揭示了当前AI技术的现状：在某些方面已经相当出色，但在其他方面仍有巨大的提升空间。这为未来的研究方向提供了重要指引。

首先，时间理解和管理能力是一个亟需突破的领域。当前几乎所有模型在这方面的表现都很差，但时间管理却是现实应用中的基本需求。未来的AI系统需要更好地理解时间概念，学会在时间约束下做出决策。

其次，处理歧义和不确定性的能力需要大幅提升。现实世界充满了模糊和矛盾的信息，AI需要学会在这种情况下寻求澄清，而不是盲目执行可能错误的操作。这可能需要在训练过程中引入更多的交互式学习机制。

第三，多智能体协作将成为未来AI系统的重要特征。随着AI能力的不断提升，我们很可能会看到由多个专门化AI组成的协作网络，而不是单一的超级AI。这要求我们开发更好的协调机制和通信协议。

第四，鲁棒性和抗干扰能力需要持续改进。现实世界的不确定性永远存在，AI系统必须学会在这种环境中稳定运行。这可能需要在训练数据中引入更多的噪音和变化。

ARE平台的开源发布为整个AI研究社区提供了一个强大的工具。研究人员可以基于这个平台创建新的测试环境，探索不同的AI能力，推动整个领域的发展。这种开放合作的模式对于解决AI面临的复杂挑战至关重要。

说到底，Gaia2不仅仅是一个测试基准，更是一面镜子，让我们看清了当前AI技术的真实水平。它告诉我们，虽然AI在某些方面已经超越了人类，但要真正实现通用人工智能，我们还有很长的路要走。但正是这种清醒的认识，为我们指明了前进的方向。

通过ARE平台和Gaia2基准测试，我们不仅能够更准确地评估AI的能力，还能够发现其局限性，从而推动技术的持续改进。这项研究为AI领域提供了宝贵的工具和洞察，相信会对未来的AI发展产生深远影响。对于那些希望深入了解这项研究技术细节的读者，可以通过论文编号arXiv:2509.17158v1查询完整的研究报告。

Q&A

Q1：ARE平台和传统AI训练环境有什么区别？
A：ARE平台最大的区别是引入了异步交互机制。传统环境中AI执行动作时世界会暂停等待，而ARE中时间会持续流逝，环境会不断变化，就像真实世界一样。这让AI必须学会在动态变化的环境中保持敏锐反应，处理突发情况。

Q2：Gaia2基准测试主要评估AI的哪些能力？
A：Gaia2评估七个核心能力：搜索能力（信息收集整合）、执行能力（操作精确性）、适应能力（应对环境变化）、时间管理能力、处理歧义能力、智能体协作能力和抗干扰能力。这些能力都是AI在现实世界应用中必需的基本技能。

Q3：目前最先进的AI模型在Gaia2上表现如何？
A：最强的GPT-5高推理模式成功率为42.1%，Claude-4 Sonnet为34.8%。虽然在搜索和执行等基础能力上表现不错，但在时间管理、处理歧义等高级能力上普遍表现较差，说明当前AI距离真正的通用智能还有很大差距。