VS-BENCH: 一项评估视觉语言模型在多智能体环境中战略推理和决策能力的全新基准测试

**清华大学和中国科学技术大学的研究团队带来突破性多模态基准测试**

在人工智能研究领域的最新进展中，清华大学和中国科学技术大学的研究团队联合开发了一项名为VS-BENCH（Visual Strategic Bench）的多模态基准测试，专门用于评估视觉语言模型在多智能体环境中的战略推理和决策能力。这项研究由Zelai Xu、Zhexuan Xu、Xiangmin Yi等人完成，于2025年6月3日发布在arXiv预印本平台上，论文编号为arXiv:2506.02387v1。有兴趣深入了解的读者可以通过https://vs-bench.github.io访问完整代码和数据。

一、为什么我们需要多智能体环境中的视觉语言模型评估？

想象一下，当你玩一场棋牌游戏时，你不仅需要理解游戏规则，还需要揣摩对手的心理，预测他们的下一步行动，并据此调整自己的策略。在现实世界中，大多数情境都不是一个人单打独斗，而是涉及多方互动和协作。

近年来，视觉语言模型（VLMs）在识别图像内容、理解视觉信息和解决交互问题方面取得了惊人的进步。我们已经看到它们能够编写代码、操作电脑界面，甚至在各种游戏环境中表现出色。然而，现有的评估基准主要集中在单智能体环境上，即只有一个AI在独自工作的场景。

这与现实世界形成了鲜明对比。在现实中，大多数情境都涉及多方参与者之间的互动——无论是合作完成任务，还是竞争争取资源，或者两者兼而有之的混合动机情境。这些多智能体环境带来了三个关键挑战：

首先，一个智能体的结果不仅取决于自己的行动，还取决于其他智能体的行动。这需要"战略推理"能力——理解他人的意图并预测他们未来的行动。

其次，当所有智能体同时学习和适应时，环境动态变得不稳定，要求智能体能够在不确定性条件下进行"决策"，并为长期目标进行优化。

第三，合作与竞争的并存导致"社会困境"，智能体必须在追求自身利益和集体福利之间取得战略平衡。

虽然之前有研究评估了大型语言模型（LLMs）在多智能体环境中的表现，但这些评估局限于纯文本环境，无法评估智能体在包含视觉信息的场景中的能力。然而，许多战略互动本质上依赖于视觉观察，如棋盘格局、卡牌面值或游戏画面。将这些视觉观察简化为文本符号不可避免地会丢失关键的空间信息。

因此，清华大学和中国科学技术大学的研究团队开发了VS-BENCH，这是首个专门评估视觉语言模型在多智能体环境中战略推理和决策能力的多模态基准测试。

二、VS-BENCH如何评估视觉语言模型的多智能体能力？

VS-BENCH就像一个全面的考试系统，设计了八个以视觉为基础的环境，覆盖了三种基本类型的多智能体互动，并从两个关键维度评估模型表现。

首先，让我们了解这八个环境，它们就像不同的考试科目，各自测试不同的能力：

**合作型游戏**：在这类游戏中，所有智能体共享同一个目标。想象两个人一起完成一个拼图，成功与否取决于双方的协作。VS-BENCH包含两个合作型游戏：

1. **花火(Hanabi)**：一种部分可观察的卡牌游戏，玩家能看到他人的牌但看不到自己的牌。每张牌有颜色和等级，玩家必须协调配合，按照颜色的等级顺序打出牌。这个游戏测试智能体理解队友意图、零样本协调和临时组队能力。

2. **胡闹厨房(Overcooked)**：一款流行的视频游戏，两位厨师在厨房里合作烹饪和上菜。每道菜需要多步操作，如导航、切菜、烹饪等，即使对人类玩家来说也很难协调。这个游戏是零样本协调和人机互动研究的经典环境。

**竞争型游戏**：在这类游戏中，每个智能体的目标与其他智能体的目标直接冲突。就像两个棋手对弈，一方的胜利意味着另一方的失败。VS-BENCH包含三个竞争型游戏：

1. **突破棋(Breakthrough)**：一种类似国际象棋的棋盘游戏，但规则简化且棋子相同。两位玩家争相将自己的棋子推进到对手的底线。这个游戏虽然表面简单，但展现出深度的组合复杂性和攻防节奏不平衡，适合研究多步前瞻和对抗性决策。

2. **库恩扑克(Kuhn Poker)**：一个简化版的德州扑克，设计用于研究不完全信息的游戏理论分析。它使用三张牌的牌组和单轮下注，是研究反事实推理和不完全信息决策的经典环境。

3. **雅达利乒乓(Atari Pong)**：一款经典街机游戏，两名玩家控制挡板击球。这个游戏要求时空推理和战略博弈，是街机学习环境的标准测试场景。

**混合动机游戏**：在这类游戏中，智能体的目标部分一致、部分冲突。想象两个商业伙伴，既要共同壮大企业，又要为自己争取更多利润。VS-BENCH包含三个混合动机游戏：

1. **硬币困境(Coin Dilemma)**：一个受囚徒困境启发的网格世界游戏。红色和蓝色玩家在5×5网格中收集硬币。收集任何硬币都能得1分，但如果红色玩家收集蓝色硬币，蓝色玩家会被扣2分，反之亦然。这创造了互惠和自利之间的张力：双方都收集自己颜色的硬币会产生双赢，但单方面背叛收集所有硬币会最大化自身收益而损害对方。

2. **怪物猎人(Monster Hunt)**：一个受猎鹿博弈启发的网格世界游戏。两个玩家可以各自吃苹果得2分，或者联手击败怪物各得5分。但单独面对怪物会被扣2分。这导致多个纳什均衡——玩家可以安全地单独吃苹果，或冒险合作获取更高回报。

3. **颜色之战(Battle of the Colors)**：一个受性别之战博弈启发的网格世界游戏。红色和蓝色玩家在有红色块和蓝色块的5×5网格中移动。如果双方都在红色块上，红色玩家得2分，蓝色玩家得1分，反之亦然。如果玩家在不同颜色的块上，双方都得0分。因此，尽管协调对双方都有利，但每个玩家都严格偏好选择自己颜色的块，产生两个收益不对称的纳什均衡和一个混合均衡。

VS-BENCH从两个互补维度评估视觉语言模型：

**战略推理**（离线评估）：这测试模型的"心智理论"能力——推断他人的隐藏信念、欲望和意图。研究团队为每个环境构建了一个离线数据集，通过模型预测其他智能体下一步行动的准确率来评估其表现。这就像测试你能否预测棋手的下一步棋，或者扑克玩家的下一步行动。

**决策能力**（在线评估）：这测试模型在非静态动态环境中为长期目标优化的能力。研究团队让视觉语言模型在每个环境中与自身或传统智能体进行完整回合的互动，并通过标准化的回合回报评估其表现。这就像测量你在实际比赛中的得分表现。

通过同时分析这两个视角，VS-BENCH提供了对视觉语言模型在多智能体环境中能力的全面评估。

三、研究发现：当今顶尖视觉语言模型表现如何？

研究团队评估了十四个领先的视觉语言模型，包括五个商业推理模型（如o4-mini、gemini-2.5-flash）、六个商业聊天模型（如gpt-4.1、doubao-1-5-vision-pro）和三个开源模型（如Llama-3.2-90B-Vision-Ins.）。

实验结果揭示了当前模型与最优表现之间存在显著差距。在战略推理方面，虽然这些模型通过超越随机猜测展示了初步能力，但表现最好的模型o4-mini也只达到了47.8%的整体预测准确率，远低于100%的完美准确率。具体来看：

- 在合作游戏中，表现最好的模型在花火游戏中达到58.3%的准确率，但在胡闹厨房中仅达到31.8%。 - 在竞争游戏中，最高准确率出现在库恩扑克（65.5%）和突破棋（26.8%）中。 - 在混合动机游戏中，硬币困境的最高准确率为62.8%，怪物猎人为50.3%，颜色之战为52.5%。

更值得注意的是，在决策能力评估中，现有模型表现更为欠佳。即使是表现最好的模型o4-mini，其平均标准化回报也仅为24.3%，远低于最优智能体的表现。六个模型的整体表现甚至不如随机智能体，表明它们在非静态、相互依赖的多智能体动态环境中优化长期回报的能力不足。

研究团队发现了几个有趣的现象：

1. **推理模型普遍优于聊天模型**：商业推理模型在大多数环境中取得了更好的结果，平均标准化回报为17.0%，而聊天模型平均为-0.4%。

2. **开源模型在某些社会困境中表现出色**：令人惊讶的是，一些开源模型在特定混合动机游戏中达到了与推理模型相当的表现。例如，Qwen2.5-VL-72B-Ins.在硬币困境中和InternVL3-78B在怪物猎人中表现不俗。

3. **视觉游戏带来挑战**：模型在视频游戏环境（如胡闹厨房、雅达利乒乓和硬币困境）中表现普遍较差，突显了多模态感知和战略决策的双重难度。

四、深入分析：视觉语言模型在多智能体环境中的优势与短板

为了更深入理解视觉语言模型在多智能体环境中的表现，研究团队对多模态观察、测试时扩展、社会行为和失败案例进行了详细分析。

**多模态观察**：理论上，结合图像和文本的多模态观察应该提供更丰富的信息，带来更好的结果。然而，评估却显示，在固有视觉状态的环境中，视觉语言模型面临特别的挑战。研究团队选取了一个棋盘游戏、一个卡牌游戏和一个视频游戏，评估推理视觉语言模型在多模态和纯文本观察下的决策表现。

结果令人惊讶：在所有三个环境中，多模态观察导致平均表现比纯文本输入更差。这表明现有视觉语言模型在从视觉输入中提取信息以进行有效推理和决策方面存在不足。这就像给一个人提供了照片和文字描述，但他反而从单纯的文字描述中理解得更好。

**测试时扩展**：研究发现，使用思维链（CoT）提示等测试时扩展方法可以显著提升聊天模型在多智能体环境中的表现。例如，在花火游戏中，使用CoT提示的gpt-4.1模型达到了49.8%的准确率，比标准输入输出提示的40.0%有明显提升。这表明测试时扩展方法可以实质性地改善视觉语言模型的表现。

**社会行为**：在混合动机社会困境游戏中，研究团队分析了不同模型的行为模式。例如，在硬币困境中，推理模型更善于收集硬币，但它们也更自私，特别是o4-mini，收集对方硬币的次数比收集自己硬币的次数更多，导致比随机结果更差的结果。相比之下，虽然InternVL3-78B在收集硬币方面不那么熟练，但它展示了强烈的合作偏好，更倾向于收集自己的硬币而非对方的硬币，创造了双赢局面。

这就像两个人在分享一盘食物：有些模型会尽可能多地拿取食物，无论是否属于自己的那份；而其他模型则主要拿取自己那份的食物，尊重对方的份额，最终创造更和谐的用餐体验。

**失败案例**：研究团队分析了视觉语言模型在多智能体环境中表现不佳的原因。在战略推理中，常见的失败案例包括忽略历史和私人信息。例如，在花火游戏中，玩家可以看到其他人的牌但看不到自己的牌。视觉语言模型往往忽视这种信息不对称，错误地使用自己的私人信息来预测其他人的下一步行动。

在决策中，另一个常见失败案例是过度关注自己的行动而忽视他人。例如，在突破棋中，视觉语言模型倾向于不断推进自己的棋子，却未能识别需要立即防御干预的情况，最终导致输棋。

这就像一个象棋新手，只关注自己的进攻策略，却没有注意到对手正在设置将军，最终被对手将死。

五、VS-BENCH的意义与展望

VS-BENCH为研究界带来了几个关键贡献：

首先，它是首个专门评估视觉语言模型在多智能体环境中战略推理和决策能力的多模态基准测试。通过引入八个以视觉为基础的环境，覆盖合作、竞争和混合动机互动，它为研究人员提供了一个全面的测试平台。

其次，它考虑了两个互补的评估维度：通过下一步行动预测准确率评估战略推理能力，通过标准化回合回报评估决策能力。这种双重评估提供了对视觉语言模型能力的更全面了解。

第三，它通过对十四个领先视觉语言模型的广泛实验，揭示了当前模型与最优表现之间的显著差距，突显了它们在多模态观察、测试时扩展、社会行为和失败案例方面的局限性。

研究团队希望，通过发布VS-BENCH作为开放平台，能够促进在以视觉为基础的多智能体环境中表现出色的战略多模态智能体的研究。这一基准测试不仅揭示了现有模型的局限性，也为未来研究指明了方向。

对普通人来说，这项研究的意义在于，它帮助我们了解当前AI系统在理解和参与多方互动方面的能力和局限。正如人类社会由无数个体之间的互动组成，真正智能的AI系统也需要能够在多智能体环境中进行有效的推理和决策。VS-BENCH为评估和改进这些能力提供了一个重要工具。

未来，随着视觉语言模型的不断发展，我们可能会看到它们在这些基准测试中的表现显著提升，最终发展出能够在复杂的多智能体环境中与人类进行高效合作和互动的AI系统。这将为人机协作、自动化游戏智能体，甚至社会计算等领域带来革命性变化。