ByteDance团队开发出首个多模态网页浏览AI测试基准：MM-BrowseComp，能看懂图像和视频的智能助手评估标准终于来了

这项由ByteDance（字节跳动）、南京大学、M-A-P研究机构、中科院以及浙江大学等多家机构联合开展的研究，发表于2025年8月20日的arXiv预印本论文库，论文标题为"MM-BrowseComp: A Comprehensive Benchmark for Multimodal Browsing Agents"。有兴趣深入了解技术细节的读者可以通过GitHub项目页面（https://github.com/MMBrowseComp/MM-BrowseComp）访问完整的研究资料和代码。

当我们在网上搜索信息时，往往需要浏览大量网页，查看各种图片、视频和文本，然后综合分析得出答案。现在的AI助手虽然很聪明，但在这方面还存在明显短板。就像一个只会读书不会看图的学生，面对图文并茂的考试题目时就会束手无策。

为了解决这个问题，研究团队开发了一个全新的评估体系，叫做MM-BrowseComp。这就像是为AI助手设计的一套综合能力测试题，不仅要求它们能理解文字，还要能看懂图片和视频，更重要的是要能在互联网的海量信息中找到正确答案。

这个测试系统包含224道精心设计的题目，每道题都像是一个小侦探案件。AI助手需要像福尔摩斯一样，从网络上的各种线索中找出真相。有些线索藏在文字里，有些隐藏在图片中，还有些埋在视频里。只有真正聪明的AI才能把这些不同类型的信息串联起来，得出正确答案。

研究团队测试了目前最先进的AI模型，包括OpenAI的o3、谷歌的Gemini-2.5-Pro等顶级产品。结果让人意外：即使是最强的o3模型，在这套测试中也只能达到29.02%的正确率。这就像是让顶尖学生参加一场全新类型的考试，结果发现大家都只能勉强及格。

一、为什么需要这样的测试

在日常生活中，当我们想了解某个复杂问题时，往往需要查阅多个网站，看各种图片和视频资料。比如，如果你想知道某个历史建筑的详细信息，可能需要看建筑的照片、阅读相关文章、观看纪录片片段，然后综合这些信息才能得出完整的答案。

目前的AI助手虽然在单纯的文本理解方面已经非常厉害，但在处理这种多媒体信息搜索任务时还存在明显不足。就像一个只会阅读文字书籍的图书管理员，当读者需要查找包含图片和视频的综合资料时，就会显得力不从心。

现有的评测标准，比如OpenAI推出的BrowseComp，虽然能测试AI的深度搜索能力，但只关注文本信息，忽略了网络上大量的视觉内容。这就像是在测试一个人的驾驶技能时，只考察他能否看懂路标文字，却不测试他能否识别交通信号灯和路况标识一样片面。

研究团队意识到，随着网络内容越来越丰富多样，AI助手必须具备处理图像、视频和文本的综合能力，才能真正胜任现代信息检索的需求。因此，他们决定开发一套全新的评测体系，专门检验AI的多模态浏览能力。

二、测试题目的精心设计

MM-BrowseComp的224道题目分布在22个不同的子任务中，涵盖了媒体娱乐、科技产品、社会文化、地理位置和学术研究五大领域。每道题目都像是一个精巧的拼图游戏，需要AI从互联网的不同角落收集线索，然后拼出完整的答案。

这些题目有一个重要特点：关键信息往往藏在图像或视频中，而不是文字里。就像在侦探小说中，最重要的线索往往不是证人的证词，而是现场的一张照片或一段监控录像。这样设计的目的是确保AI不能仅仅依靠文本搜索就轻松过关，必须真正具备多模态理解能力。

比如，有一道题目会展示一张在某个餐厅附近拍摄的照片，然后问附近植物园里某个雕塑人物手中拿着什么物品。要回答这个问题，AI首先需要识别照片中的地标，确定具体位置，然后搜索该区域的植物园信息，找到相关雕塑，最后分析雕塑图片得出答案。整个过程就像是一场跨越现实和虚拟世界的寻宝游戏。

另一道题目可能会要求AI根据某个游戏角色的描述，找到该角色武器上宝石的颜色。这需要AI不仅理解游戏背景，还要能从游戏截图或视频中准确识别细节特征。

为了确保测试的公平性和严格性，研究团队为每道题目都设计了详细的检查清单。这个清单记录了解答问题的完整推理路径，包括每一个必要的步骤。就像是给每个侦探案件准备了一份标准答案，不仅要求最终结论正确，还要确保推理过程合乎逻辑。

三、多层次的评估标准

传统的AI测试通常只看最终答案是否正确，就像只关心学生考试的分数，不在意他们是怎么得出答案的。但MM-BrowseComp采用了更加细致的评估方法，不仅要看结果，还要看过程。

研究团队设计了三个不同层次的评估指标。第一个是总体准确率，就是传统的"答对了多少题"。第二个是严格准确率，不仅要求答案正确，还要求AI完成了所有必要的推理步骤。第三个是平均检查单完成度，衡量AI在解题过程中完成了多少必要步骤。

这种评估方式就像是在判断一个厨师的水平时，不仅要尝菜品的味道，还要观察他的料理过程是否规范，食材处理是否得当。只有在所有环节都表现出色，才能被认为是真正的高手。

通过这种多层次评估，研究团队发现了一个有趣的现象：有些AI模型能偶然答对题目，但推理过程完全错误。这就像是学生在多选题中蒙对了答案，但解题思路完全偏离正轨。严格准确率指标能有效识别这种"幸运答对"的情况，确保评估结果更加可靠。

四、令人意外的测试结果

当研究团队用这套标准测试目前最先进的AI模型时，结果让所有人都感到意外。即使是公认最强大的OpenAI o3模型，在总体准确率上也只达到29.02%，严格准确率更是只有19.64%。其他模型的表现更是惨不忍睹，大多数都在10%以下。

这个结果就像是让一群顶尖的象棋高手去参加围棋比赛，虽然他们在各自擅长的领域都是大师级别，但面对全新的挑战时却显得力不从心。这并不意味着这些AI模型能力不行，而是说明多模态浏览这个领域确实存在巨大的技术挑战。

研究团队进一步分析发现，当涉及到需要理解图像和视频内容的题目时，AI模型的表现会明显下降。就像是一个优秀的文学评论家，当他需要分析电影画面而不仅仅是剧本时，就会遇到困难。

更有趣的是，研究团队还测试了时间扩展效应，让AI对同一道题目尝试多次，看能否通过增加尝试次数来提高成功率。结果发现，虽然总体答对率有所提升，但严格准确率几乎没有改善。这说明额外的尝试次数更多的是增加了"蒙对"的概率，而不是真正提升了推理能力。

五、技术瓶颈的深度分析

通过对AI模型失败案例的详细分析，研究团队识别出了几个关键的技术瓶颈。最主要的问题是视觉幻觉，也就是AI对图像内容的错误理解。就像是一个近视眼的人在没戴眼镜的情况下看路标，经常会把相似的字母搞混，导致整个导航过程出错。

另一个重要问题是工具执行失败。现在的AI助手通常需要调用各种外部工具来完成复杂任务，比如搜索引擎、图像分析工具等。但这些工具之间的配合并不总是顺利，就像是一个乐团中不同乐器的演奏者没有很好地协调，导致整体演出效果大打折扣。

研究还发现，许多开源AI系统主要依赖图像描述工具来理解视觉内容，而不是直接分析图像。这种间接的方法就像是通过别人的转述来了解一部电影的内容，必然会丢失很多重要细节，导致理解偏差。

相比之下，OpenAI的o3模型表现相对较好，主要是因为它能够直接处理多种类型的信息，不需要通过中间转换。这就像是一个既能阅读文字又能理解图像的全能型专家，在处理综合性问题时具有明显优势。

六、研究的实际意义和应用前景

这项研究的价值不仅仅在于提供了一个新的测试标准，更重要的是指出了AI发展的重要方向。随着网络内容越来越丰富多样，能够综合处理文本、图像和视频信息的AI助手将成为必然趋势。

在实际应用中，这种多模态浏览能力有着广泛的用途。比如，在教育领域，AI助手可以帮助学生查找和理解包含图表、视频的复杂学习资料。在商业分析中，AI可以从各种报告、图表和演示视频中提取关键信息，为决策提供支持。在新闻领域，AI可以快速分析事件相关的文字报道、现场照片和视频资料，提供全面的事件解析。

更重要的是，这项研究为AI系统的训练提供了新思路。传统的AI训练主要关注单一模态的能力提升，而MM-BrowseComp提供的详细推理路径检查单，可以作为训练信号，帮助AI系统学习更加合理的多模态推理过程。这就像是为学生提供了详细的解题步骤模板，让他们能够逐步掌握正确的思维方法。

七、未来发展的启示

这项研究揭示了当前AI技术发展中的一个重要趋势：单纯提升某个方面的能力已经不够，真正的突破需要在多个能力维度上的协调发展。就像是培养一个优秀的运动员，不能只练力量而忽略协调性，也不能只练速度而忽略耐力。

研究结果表明，未来的AI系统需要在三个方面实现突破。首先是原生多模态理解能力，能够直接处理各种类型的信息，而不是依赖外部工具的转换。其次是强大的推理能力，能够在复杂的信息环境中保持清晰的逻辑思路。最后是可靠的工具协调能力，能够有效整合各种外部资源完成复杂任务。

研究团队还指出，现有的测试时间扩展策略效果有限，这提醒我们不能简单地通过增加计算资源来解决能力问题，而需要从根本上提升AI的推理质量。这就像是在提醒我们，解决问题的关键不在于尝试的次数多少，而在于思路是否正确。

说到底，MM-BrowseComp不仅仅是一个测试标准，更是一个指向未来的路标。它告诉我们，真正智能的AI助手不应该只是一个会聊天的文本机器人，而应该是一个能够像人类一样综合处理各种信息的智能伙伴。虽然目前的AI系统在这方面还有很大提升空间，但这项研究为我们指明了发展方向，相信在不久的将来，我们会看到更加智能、更加全面的AI助手出现在我们的生活中。这种能够真正理解多媒体世界的AI助手，将会极大地改变我们获取和处理信息的方式，让我们在面对复杂问题时有更得力的帮手。研究团队表示，他们会继续完善这个评估体系，并希望它能成为推动AI技术发展的重要工具，最终让每个人都能享受到更智能、更贴心的AI服务。

Q&A

Q1：MM-BrowseComp测试和现有AI测试有什么区别？

A：MM-BrowseComp最大的不同是它要求AI不仅能理解文字，还要能看懂图片和视频，并且能综合这些不同类型的信息来回答问题。就像传统考试只考文字理解，而这个测试是图文并茂的综合能力考察，需要AI像人类一样在网上搜索各种资料来找答案。

Q2：为什么连最先进的AI模型在MM-BrowseComp上表现都不好？

A：因为这项测试真正考验的是多模态综合能力，而不是单一的文本理解。即使是OpenAI的o3这样的顶级模型，正确率也只有29%。这说明让AI真正像人类那样综合处理文字、图像、视频信息还有很大难度，就像让只会读书的学生去参加需要看图分析的考试一样困难。

Q3：MM-BrowseComp对普通用户有什么实际意义？

A：这个测试标准会推动AI助手变得更智能更实用。未来的AI助手将能更好地帮你查找和理解网上的各种资料，无论是包含图表的学习材料、新闻事件的图片视频，还是产品介绍的多媒体内容，AI都能综合分析给你准确答案，让信息查找变得更简单高效。