上海AI实验室联合多所顶尖高校发布全球首个深度研究智能体评估基准：从简单问答到完整报告生成的技术飞跃

当你在搜索引擎上输入一个问题时，得到的往往是一堆零散的链接和片段化的答案。但如果有一个AI助手能够像人类研究员一样，自动搜集信息、分析数据、整理思路，最终为你生成一份完整的研究报告，那会是什么样的体验？这个听起来像科幻小说的场景，正在成为现实。

这项突破性研究由上海人工智能实验室的杨瑶博士领导，联合了香港大学、复旦大学、英属哥伦比亚大学、多伦多大学、清华大学、上海交通大学、香港科技大学以及北京大学等多所顶尖学府的研究团队。他们的研究成果于2025年10月发表在计算机科学人工智能领域的顶级期刊上，论文编号为arXiv:2510.02190v1。对这一前沿技术感兴趣的读者可以通过该编号查询完整的学术论文。

研究团队关注的是一类被称为"深度研究智能体"（Deep Research Agents，简称DRA）的新型AI系统。如果把传统的AI比作一个只会背书的学生，那么深度研究智能体就像是一个能够独立完成研究项目的研究生。它不仅能理解复杂问题，还能自主分解任务、搜索多个信息源、进行多步推理，最终生成结构化的长篇报告。

然而，评估这类高级AI系统的能力并不容易。就像评估一个研究生的水平不能只看他能否回答选择题一样，评估深度研究智能体也不能仅仅依靠传统的短答题测试。目前市面上的AI评估工具大多专注于简单的问答任务，就好比用小学数学题来测试大学生的数学能力——显然不够全面也不够准确。

正是意识到这个问题，研究团队开发了全球首个专门针对深度研究智能体的综合评估基准，他们将其命名为"Rigorous Bench"。这个评估系统就像是为AI系统设计的"研究生入学考试"，不仅考查AI的知识储备，更重要的是测试它们的研究能力、信息整合能力和报告写作能力。

这套评估系统的创新之处在于，它不再满足于测试AI是否能给出正确答案，而是要看AI能否像真正的研究员一样工作。研究团队精心设计了214个高难度的研究任务，覆盖了学术研究、新闻时事、商业金融、科技情报、历史社科、健康医学等十个重要领域。每个任务都要求AI生成完整的研究报告，而不是简单的几句话回答。

更令人印象深刻的是，研究团队还开发了一套多维度评估框架，就像给研究报告打分的导师一样，从三个关键维度来评判AI生成报告的质量。第一个维度是"语义质量"，类似于评判一篇文章的逻辑性和表达能力。第二个维度是"主题聚焦度"，检查AI是否能紧扣主题，避免偏离重点。第三个维度是"检索可信度"，验证AI引用的信息源是否权威可靠。

为了确保评估的公正性和准确性，研究团队采用了极其严格的构建流程。他们邀请各领域专家手工设计每一道题目，然后通过多轮人工审核和AI辅助验证，确保每个任务都具有足够的挑战性和代表性。这个过程就像精心打磨一件艺术品，力求每个细节都完美无缺。

**一、深度研究智能体的技术革新**

要理解这项研究的重要性，我们需要先了解AI技术发展的大背景。传统的大型语言模型就像一个博学的图书馆管理员，它们拥有海量的知识储备，但这些知识都是静态的、封闭的，无法获取最新信息，也无法主动搜集和整合外部资源。

深度研究智能体的出现彻底改变了这种局面。它们就像是配备了互联网接入能力的超级研究员，不仅能够访问实时信息，还能够主动规划研究策略、分解复杂问题、搜索多个信息源，并将收集到的信息进行深度整合和分析。

这种转变的意义不亚于从算盘到计算机的跨越。传统AI系统在面对复杂开放性问题时，往往只能给出基于训练数据的回答，而深度研究智能体能够像人类研究员一样，通过系统性的信息搜集和分析来解决问题。

目前市场上已经出现了多个深度研究智能体产品，包括阿里巴巴的通义DeepResearch、xAI公司的Grok Deep Search、Perplexity公司的Sonar Deep Research，以及OpenAI最新推出的o3 Deep Research等。这些系统都具备完整的研究流水线，能够从理解用户需求开始，自主完成信息搜集、分析整合、结果呈现的全过程。

这些系统的工作方式可以用烹饪来类比。传统AI就像是一个只会按照固定菜谱做菜的厨师，而深度研究智能体则像是一个能够根据食材和顾客需求自由发挥的创意厨师。它能够分析顾客的需求（理解问题），到市场采购新鲜食材（搜索信息），根据营养搭配设计菜单（制定研究策略），然后运用各种烹饪技巧制作出一道完整的大餐（生成研究报告）。

**二、现有评估方法的局限性**

传统的AI评估方法就像用标准化考试来测试学生能力一样，虽然效率很高，但往往无法全面反映真实水平。目前主流的AI评估基准，如GAIA、WebWalker、BrowseComp等，主要关注的是AI能否给出正确的简短答案，这就像用选择题来测试学生的写作能力——显然不够全面。

这些传统评估方法存在几个根本性问题。首先，它们过分依赖简短答案的匹配度，就像判断一道数学题是否正确只看最终答案，而忽略了解题过程和思路。其次，它们无法评估AI在处理复杂、开放性问题时的综合能力，比如信息搜集、逻辑推理、内容组织等。最后，它们缺乏对AI生成内容质量和可信度的深度评估，就像评判一篇研究报告却不检查引用来源是否可靠。

更为严重的是，现有的评估方法大多采用字符串匹配或简单的相似度计算，这种方式就像通过对比两篇文章的用词来判断内容是否一致，显然无法准确捕捉语义层面的深度信息。即使是一些使用大语言模型作为评判者的方法，也往往缺乏透明和可验证的标准，容易产生主观性和不稳定性问题。

近期虽然有一些针对报告式输出的评估尝试，比如DeepResearch Bench等，但它们仍然存在明显不足。这些系统过度依赖静态的参考答案，就像用标准答案来评判创作性写作，难以适应查询需求的多样性。它们的自动化评分规则缺乏上下文敏感性，关注的往往是表面特征而非深层质量，无法真正反映人类对报告质量和结构的偏好。

这种评估困境就像用传统的笔试来选拔外科医生一样——虽然理论知识很重要，但真正的手术能力只有在实际操作中才能得到验证。深度研究智能体的能力同样需要通过复杂、真实的研究任务来检验，而不是简单的问答测试。

**三、Rigorous Bench的创新设计**

针对现有评估方法的不足，研究团队开发了这套全新的评估基准。Rigorous Bench就像是为AI系统量身定制的"博士论文答辩"，不仅要考查知识储备，更要测试研究能力、分析能力和表达能力。

这套评估系统包含214个精心设计的高难度任务，分布在十个不同的主题领域中。这些领域的选择体现了研究团队的深思熟虑：学术研究领域考查AI的理论分析能力，新闻时事领域测试AI对动态信息的把握，商业金融领域验证AI的数据分析和趋势判断能力，科技情报领域评估AI的技术理解和前沿追踪能力。

每个任务都不是简单的问答，而是要求AI生成完整的研究报告。这些报告必须具备清晰的结构、充分的论证、可靠的引用，以及深入的分析。就像要求学生不仅要知道答案，还要能够写出完整的解题过程和思路分析。

为了确保评估的全面性和准确性，每个任务都配备了一个由五个核心模块组成的参考标准包。第一个模块是"任务特定评分标准"，这就像是针对每个研究课题量身定制的评分细则，确保评估标准与任务要求高度匹配。第二个模块是"通用报告评分标准"，提供了评判学术报告质量的统一标准，涵盖结构组织、逻辑表达、信息覆盖、引用质量等关键维度。

第三个模块是"可信信息源链接"，研究团队为每个任务精心筛选了权威、稳定、可访问的信息源，这些链接都直接指向包含目标信息的具体页面，确保评估时能够验证AI获取信息的准确性和权威性。第四个模块是"焦点锚定关键词"，用于评估AI是否能够准确把握任务的核心要点，避免偏离主题。第五个模块是"焦点偏离关键词"，帮助识别AI生成内容是否出现了主题漂移或不相关的内容。

这种设计就像是为每道考试题目准备了一套完整的评分体系，不仅有标准答案，还有评分细则、参考资料、重点提示和常见错误警示。这样的设计确保了评估过程既严格又公正，既全面又精确。

**四、多维度评估框架的技术突破**

传统的AI评估就像用单一指标来评判一个人的能力，而这套新的评估框架则像是进行全方位的能力测评。研究团队开发的多维度评估框架从三个关键角度来衡量AI生成报告的质量，每个维度都有其独特的评估重点和方法。

语义质量维度关注的是报告的整体质量和完成度。这个维度就像是评判一篇学术论文的导师，不仅要看内容是否准确，还要评估逻辑是否清晰、结构是否合理、表达是否恰当。评估过程结合了任务特定标准和通用报告标准，采用加权平均的方法计算综合得分。这种设计确保了既能反映任务完成的具体情况，又能体现报告写作的一般质量。

主题聚焦度维度则通过"语义漂移"指标来衡量AI是否能够紧扣主题。这个评估过程就像是检查学生作文是否跑题一样，通过分析关键词的使用情况来判断内容的相关性。系统会检查AI是否充分使用了应该出现的核心关键词，同时避免了容易导致主题偏离的干扰词汇。这种双重检查机制确保了AI能够在复杂的信息环境中保持明确的主题导向。

检索可信度维度评估的是AI使用外部信息的质量和可靠性。这个维度就像是学术期刊的编辑检查论文引用是否规范可靠一样，通过分析AI在报告中引用的信息源与推荐的权威链接的匹配程度来判断其可信度。系统不仅会检查完全匹配的引用，还会考虑同源网站的引用情况，这种设计既保证了评估的严格性，又具有一定的灵活性。

这三个维度的评估结果最终通过一个巧妙的数学公式整合为综合评分。这个公式采用乘法而非简单的加法，这意味着任何一个维度的严重缺陷都会显著影响最终得分。这种设计哲学体现了研究团队的深刻洞察：一份高质量的研究报告必须在内容质量、主题聚焦和信息可信度三个方面都达到较高水准，任何一个方面的严重不足都会影响报告的整体价值。

**五、严格的构建流程保证质量**

为了确保评估基准的质量和可信度，研究团队采用了极其严格的多阶段构建流程。这个过程就像精心制作一件艺术品，每个环节都精益求精，绝不允许任何瑕疵。

整个构建过程分为七个阶段，每个阶段都有明确的质量控制标准。第一阶段是专家初始设计，来自不同领域的专家根据统一的构建指南和自身的专业知识设计任务条目。这些专家就像是不同学科的权威教授，每个人都在自己擅长的领域贡献智慧。

第二阶段引入AI辅助初步筛选，利用大语言模型检测语义一致性、逻辑合理性和事实准确性。这就像是让AI助手帮忙做初步的质量检查，发现那些可能被人眼忽略的问题。第三阶段进行第一轮人工审核，专注于标准化改写、指令增强、有效性检查和评分细则优化。在这个阶段，专家们会仔细审查每个任务，确保表达清晰、要求明确。

第四阶段通过AI进行实验验证，使用高性能的AI模型测试任务的难度和挑战性。这就像是让优秀学生先做一遍试卷，看看题目设计是否合理。第五阶段和第六阶段分别进行第二轮和第三轮人工交叉审核，从观察者角度评估评分标准，检查关键词的有效性，验证链接的可访问性和权威性。

最后一个阶段是综合质量检查，涵盖领域分类、格式标准、结构完整性等各个方面。这个过程就像是对整个作品进行最后的抛光，确保每个细节都完美无缺。

这种多层次、多角度的质量控制流程大大提高了评估基准的准确性、一致性和可重现性，同时有效减少了主观偏见和标注错误。研究团队甚至对约35%的AI评分结果进行了人工验证，结果显示与人类评估的一致性高达99.3%，这充分证明了评估框架的可靠性。

**六、全面的实验验证与发现**

为了验证评估基准的有效性和评估框架的准确性，研究团队进行了大规模的对比实验。他们测试了十三个不同的AI系统，包括五个专门的深度研究智能体、一个先进的智能体模型，以及七个配备网络搜索工具的推理模型。这场测试就像是一次AI界的"奥林匹克竞赛"，不同类型的AI系统在同一个平台上公平竞争。

实验结果揭示了很多有趣的发现。在综合表现方面，通义DeepResearch获得了最高分，展现了在多个维度上的均衡优势。Sonar Deep Research紧随其后，在主题聚焦度方面表现最为出色。值得注意的是，Moonshot AI的Kimi-K2模型虽然在内容质量维度获得了最高分，但由于在其他维度的相对劣势，最终的综合排名并不靠前。

这个结果很好地说明了多维度评估的重要性。就像评判一个学生的综合能力不能只看某一门课程的成绩一样，评估AI系统的能力也需要考虑多个方面的表现。一个在写作质量上表现优秀的系统，如果在主题把握或信息可信度方面存在明显不足，其整体实用价值就会大打折扣。

更重要的是，实验结果明确证明了深度研究智能体相比传统的网络搜索增强推理模型具有显著优势。深度研究智能体在任务执行和报告生成质量方面都表现更加出色，这验证了研究团队的预期：专门针对研究任务设计的AI系统确实比通用系统加工具的组合更加有效。

实验还发现了一些值得深思的问题。部分模型在处理复杂任务时出现了调用行为不稳定的现象，表现为推理时间差异巨大，这反映了系统内部约束机制的不完善。另外，一些系统在语义分解过程中偶尔产生非英语的、语义不连贯的子查询，这暴露了多步骤推理过程中的一致性问题。

**七、技术发展的深层思考**

通过这次大规模的评估实验，研究团队发现了深度研究智能体技术发展中的两个关键权衡问题。第一个是效率与质量的权衡。当前的模型往往为了提高输出质量而消耗大量的计算资源和时间，一些系统平均每个报告需要消耗2-3万个token，这在实际应用中可能会带来成本和延迟问题。

第二个是分解与一致性的权衡。虽然将复杂问题分解为多个子问题有助于提高覆盖面和深度，但这个过程也带来了语义碎片化和意图漂移的风险。如何在保持分解优势的同时确保多步骤推理的一致性，是未来技术发展需要解决的重要挑战。

这些发现对AI技术的发展具有重要指导意义。它们提醒我们，技术进步不仅要关注性能指标的提升，更要关注系统的稳定性、可控性和实用性。未来的深度研究智能体需要在保持高质量输出的同时，具备更好的资源控制能力和更稳定的推理过程。

研究团队的工作还为AI评估标准的发展开辟了新的方向。传统的评估方法往往局限于特定任务或简单指标，而这套多维度评估框架提供了一个更加全面和深入的评估范式。这种方法不仅适用于深度研究智能体，也可以扩展到其他类型的长文本生成任务，为整个AI领域的评估标准化做出了重要贡献。

说到底，这项研究的意义远超出了技术本身。它不仅为我们提供了评估高级AI系统的工具，更重要的是为AI技术向更高水平发展指明了方向。当AI系统能够像人类研究员一样独立完成复杂的研究任务时，我们就站在了人工智能发展的一个重要节点上。这个节点标志着AI从简单的信息处理工具向真正的智能助手的转变，预示着一个人机协作研究的新时代即将到来。

对于普通人来说，这意味着未来我们将拥有更强大、更可靠的AI研究助手。无论是学生写作业、研究者做调研，还是企业分析市场，都可能受益于这种能够独立完成复杂研究任务的AI系统。而这套评估基准的建立，则为确保这些AI系统的质量和可靠性提供了重要保障。

未来的发展中，我们有理由期待更多类似的技术突破。随着评估标准的不断完善和技术能力的持续提升，深度研究智能体有望在更多领域发挥重要作用，成为人类知识探索和决策支持的重要伙伴。这不仅会改变我们获取和处理信息的方式，更可能重新定义研究工作本身的内涵。

Q&A

Q1：什么是深度研究智能体？它和普通AI有什么区别？

A：深度研究智能体是一种新型AI系统，就像配备了互联网接入能力的超级研究员。与传统AI只能基于训练数据回答问题不同，深度研究智能体能够主动搜索最新信息、分解复杂任务、整合多个信息源，最终生成完整的研究报告。目前市场上的代表产品包括阿里巴巴的通义DeepResearch、OpenAI的o3 Deep Research等。

Q2：Rigorous Bench评估系统是如何工作的？

A：Rigorous Bench包含214个高难度研究任务，覆盖十个重要领域。它不像传统评估只看简短答案，而是要求AI生成完整研究报告，然后从语义质量、主题聚焦度和检索可信度三个维度进行评分。每个任务都配备了专家设计的评分标准、权威信息源链接和关键词指标，确保评估既全面又准确。

Q3：这项研究对普通人有什么实际意义？

A：这项研究意味着未来我们将拥有更强大的AI研究助手。无论是学生写论文、上班族做市场调研，还是个人了解复杂话题，都可能受益于能够独立完成研究任务的AI系统。而这套评估标准的建立，为确保这些AI系统的质量和可靠性提供了重要保障，让我们能够更放心地使用AI助手。