当AI研究员需要规划国外大学申请、整理昆山市人口数据、对比Dify工作流和聊天流该怎么选时，它表现得怎么样？

去年年底，腾讯的一个研究团队做了一件挺有意思的事。他们没有再去测试AI能不能解出奥数难题，也没有去看AI能不能写出一篇像样的学术综述，而是把AI扔进了普通人每天都在面对的烦恼里：选大学该看哪些数据，昆山的人口统计口径怎么对齐，Dify里的Workflow和Chatflow到底该用哪个。

这事听起来平淡,但背后藏着一个挺扎心的问题。

现在市面上几乎所有评测深度研究类AI的榜单，考的都是学术味很重的任务。查论文、做文献综述、分析金融报表,这些场景固然重要,但离普通人的生活有点远。你上次需要AI帮你写一篇学术综述是什么时候?可能从来没有。但你上次需要AI帮你查个政策、对比个产品、搞清楚一堂报价规则是什么时候?可能就是上周。

这个空白,就是LifeSearch这篇论文想填的。

**深度研究到底是个什么活**

先说清楚什么是深度研究类AI代理。

深度研究代理*：一种能自主完成多轮网络搜索、阅读网页、整合信息并最终输出一份完整报告的AI系统，和那种你问一句它答一句的聊天机器人不一样，它更像一个会自己上网查资料、自己判断信息够不够、自己写报告的研究助理。

这类系统现在已经不是实验室里的玩具了。GPT的Deep Research、Gemini的Deep Research功能,国内各家大模型公司也都推出了类似产品。它们宣称能帮你做市场调研、竞品分析、学术检索,听起来很美好。

但问题来了：这些系统到底靠不靠谱,现有的评测体系压根说不清楚。

早期的评测方式很粗暴，比如一个叫BrowseComp的测试集，出一道事实性问题，看AI答案和标准答案是否完全匹配。这种评测简单直接,但有个硬伤：真实世界里需要AI研究的问题,很少有一个唯一的标准答案。你问AI"帮我分析一下这家公司最近的财报变化",这不是靠对错一句话能判断的,得看报告写得全不全、准不准、有没有抓住重点。

后来的研究者意识到这点,开始搞"打分细则"（rubric),把一份报告拆成很多条具体的检查项,一条一条判断AI做到了没有。这个思路对了,但执行上还是有缺陷。拿DeepResearch Bench和ResearchRubrics这两个比较有代表性的工作来说，它们的任务来源大多是研究人员自己设计的,而不是从真实用户那里采集来的；它们关注的领域也偏学术化,比如写文献综述、分析行业趋势,很少涉及日常生活和具体工作场景里那些琐碎又真实的问题。

这就好比你想测试一个厨师的真实水平，结果给他的考题全是米其林餐厅的摆盘要求,却从来不问他能不能炒出一盘好吃的青菜。考题本身没错,但考不出这个厨师能不能应付普通人家的日常饭桌。

LifeSearch想做的，就是把考题换成"日常饭桌"。

**题目从哪儿来：真实用户的真实烦恼**

LifeSearch这个基准测试一共包含203个任务,中文102个、英文101个,横跨7个生活和工作相关的领域：公司和竞品调研、学术文献检索、金融市场分析、政策法规查询、行业资讯追踪、技术工具查找、以及日常生活常识。

这些题目不是研究员坐在办公室里凭空想出来的,而是先找了一批普通的众包工作者，让他们写下自己真实遇到过的查询需求。这些需求五花八门，有的是想搞清楚某个软件该怎么用，有的是想对比两所大学的录取要求，有的是想弄明白某项政策的具体细则。

接着，研究团队用了一套四阶段的筛选流程来提炼这些原始需求。

第一阶段叫"意图和质量过滤"，用AI先把那些意图不清楚、或者依赖某个用户没说清楚的"最近事件"的问题筛掉。比如"这个产品最近怎么突然降价了"这种问题,它假设了一个用户已经知道、但AI不一定知道的"最近发生的事",这种带着隐藏前提的问题会被过滤掉；但"查一下今天的科技新闻"这种一般性的时效性查询会保留。

第二阶段是"领域发现"，把筛选后的问题自动归类到那7个领域里。

第三阶段叫"任务改写"，很多原始查询里混杂着"生成本地文件""调用某个工具"这类操作性要求，这些跟"搜索信息"本身没关系，需要把它们剥离干净，只留下纯粹的信息检索需求。

第四阶段是人工复核，由经验丰富的研究人员做最终筛选，确保留下的任务足够复杂、足够清晰、而且真的能被评测。

光是筛选还不够。研究团队还请了专业的标注专家,对每条保留下来的查询做深度加工，把一个简单的问题拆解成2到4个互补的子任务，每个子任务对应"查找""计算""比较""推理"这四种能力类型里的一种。这个拆解过程挺关键，它能把一个模糊的问题变得具体可执行。

如果不这么拆解会怎样？

你直接问AI"昆山这几年人口怎么样"，这个问题太宽泛，AI可能随便查两个数字就应付过去。但如果拆解成"查近5年常住人口总数""计算年龄结构变化比例""对比各区镇的流动人口差异",每一步都有明确的检查标准，AI就没法偷懒糊弄过去。

这就跟老师出考试题一样。如果题目只写"谈谈你对这篇课文的理解"，学生随便写几句都能过关；但如果题目拆成"概括第一段的中心思想""分析第二段用了什么修辞手法""结合全文说明作者的写作意图"，每一道小题都有明确的得分点，想要混过去就难多了。

**4000多条打分细则,4500小时的苦功**

真正体现这篇论文分量的,是它的评分体系。

研究团队为这203个任务总共写了4014条打分细则（rubric），平均每个任务将近20条。这些细则不是随便写的，整个标注过程耗费了超过4500个小时的人工劳动。

每一条细则对应一个可以独立判断"通过"或"不通过"的具体要求。比如针对那个昆山人口的任务，有一条细则要求回答必须说明"常住人口"的统计口径是"在本市居住半年以上，或户口在本地且未外出半年以上"；还有一条细则要求标明数据来源，并给出可以复核的网址链接。

这些细则覆盖了七个评估维度：是否遵循了用户的明确要求、信息覆盖是否完整、事实是否准确、证据和引用质量如何、推理分析是否成立、任务是否真正解决了用户的问题、呈现格式是否符合要求。

每条细则还打了几个标签。

第一个是类型标签,区分这条要求是"客观可核实的事实"还是"带有主观判断成分的偏好"。第二个是必要性标签,区分这条要求是用户"明确说出来的"还是"合理推断出来但没明说的"。第三个是优先级标签,标记这条要求是"必须满足"还是"有则更好"。第四个是权重,标注者给每条细则打一个0到1之间的分数，表示这条要求在整个任务里有多重要。

这里有个细节值得说一下，大约40%的细则会明确要求某个具体的数值、日期或者文件名,这意味着判断"对不对"的时候不需要再临时去网上核实，答案是提前验证好的。这种设计的好处在于,让打分这件事变得可以标准化、可以复核，而不是全凭评判者当时的感觉。

想象一下如果没有这套细致的权重和类型区分会怎样。所有要求一股脑混在一起，AI回答里哪怕只做对了一件无关紧要的小事，整体分数照样很高；或者反过来,漏了一个关键的硬性要求,但因为其他方面写得挺花哨,分数也不会掉太多。这种评分方式测不出真实水平,就像一场考试,选择题和作文题混在一起算同样的分,一个学生可能靠蒙对几道选择题就拿到高分，但他其实根本没理解作文要考察的核心能力。

**谁来当裁判：AI评AI,靠不靠谱**

4000多条细则,总不能靠人工一条条去对着AI生成的报告打分，那工作量太吓人了。所以研究团队采用了"LLM-as-a-Judge"的方式，也就是用另一个AI模型来当裁判，给每条细则打通过或不通过。

LLM-as-a-Judge*：用一个大语言模型来评判另一个大语言模型输出结果好不好的方法，相当于让一个AI当裁判给另一个AI的作业打分。

但问题是,用哪个AI当裁判才靠得住？

研究团队做了一次挺严谨的验证实验。他们先找了20个任务（中英文各10个），覆盖402条细则,请2到3名领域专家分别独立打分，专家之间的一致性达到了0.715（用Cohen's kappa衡量，这是一个统计学上衡量评分者间一致程度的指标，数值越接近1说明评分者越趋于一致）。所有初步出现分歧的65条细则，又经过讨论统一了意见，形成了"标准答案"。

有了这份标准答案，研究团队拿四款主流大模型、设置了11种不同的推理强度和温度参数组合，逐一比对哪种配置跟人类专家的判断最接近。

结果挺有意思。把温度设成0（也就是让AI的输出更稳定、更少随机波动）确实能提高一致性,比如某个模型在高推理强度下,温度从默认值调到0,三次重复运行的一致性从94.5%提高到98%。但稳定不代表准，有个模型在不开启推理的情况下,三次运行结果一致性高达99%，但跟人类判断的匹配准确率只有75.62%,属于"错得很稳定"的类型。

最终，研究团队选定了Gemini 3.1 Pro（低推理强度、零温度）这套配置，它在这402条标准答案上的匹配准确率达到84.25%，是所有测试配置里最高的。

这个验证过程本身就是个值得琢磨的事。它说明"用AI评AI"这件事不是拍脑袋决定的,得先有一套人类共识作为锚点,再去反复测试哪个AI裁判跟这套锚点贴得最近。如果跳过这一步,直接随便拿个AI来打分,得出来的排名可能根本不可信。

好比请裱花师傅给蛋糕店打分，你得先找几位真正懂蛋糕的美食评审达成一致意见，确定什么样的裱花算合格，然后再去测试不同裱花师傅的评判标准跟这几位评审对不对得上号。如果省掉前面这一步,直接随便拉一个人来当裁判，他给出的分数再漂亮，也没法说明问题。

**12个AI选手同台竞技，结果如何**

验证完裁判之后，研究团队把12款当前最先进的深度研究代理拉进来比了一场。

参赛选手包括GPT-5.6 Sol、Claude Opus 5、混元4预览版、GLM-5.3、通义千问3.8-Max、DeepSeek-V4 Pro、Kimi-K3、豆包Seed-2.1-Pro、Claude Opus 4.8、混元3、GLM-5.2、Gemini-3.6-Flash。所有选手统一用一套搜索框架跑这203个任务，每个任务跑三次,取平均分和标准差。

结果是，GPT-5.6 Sol拿下第一,但分数只有63.44%。

63.44%意味着什么？

意味着即便是表现最好的那个AI系统，在面对真实世界的生活和工作查询时，依然有超过三分之一的加权要求没能满足。而且这个"最强"选手自己的三次平均分，在203个任务里有41个（占比20.2%）得分低于50%。换句话说，哪怕是最靠谱的那个AI，每5个任务里就有1个表现得相当糟糕。

第二名是Claude Opus 5，拿到56.1%。再往后，分数就陡降到50%以下了：混元4预览版49.7%，GLM-5.3约49.2%,再往后一路滑到Gemini-3.6-Flash的34.7%。

这里有个数字对比值得停下来感受一下。第一名和第二名之间差了7.3个百分点，这个差距在生活中意味着什么？意味着同样面对100条打分细则，GPT-5.6 Sol能多满足大约7条Claude Opus 5没能满足的要求。听起来不多，但这7条可能恰好就是你最在意的那个具体数字、那个关键日期，或者那个你明确要求但对方漏掉的信息点。

分领域来看，GPT-5.6 Sol和Claude Opus 5在全部7个领域里都占据前两位，但没有任何一个系统在任何一个领域里的得分超过70%。这说明目前所有的深度研究AI,面对真实生活场景的时候，普遍都还有不小的能力缺口，而不是某个系统在某个领域特别弱而已。

**写得多不代表写得好**

有个挺反常识的发现。你可能会觉得,AI写的报告越长、搜索的次数越多,分数就应该越高。这个逻辑听起来没毛病，但数据打了个问号。

研究团队统计了每个模型平均每个任务生成的输出token（可以理解为文字量）数量，拿这个数字跟最终得分做对比。

GPT-5.6 Sol确实是又长又好，平均每个任务生成5.15万token，分数也最高。但往下看就不是这个规律了。Claude Opus 5和GLM-5.3生成的文字量几乎一样，分别是4.89万和4.93万，差距不到1%，但得分却差了6.9个百分点。更离奇的是，混元4预览版只用了3.36万token，比GLM-5.3少了三分之一的篇幅，分数却跟GLM-5.3几乎打平（49.73%对49.19%）。

研究团队算了一下相关系数,互动轮数（也就是AI搜索、读网页的次数）跟最终得分的相关系数达到0.76，算是比较强的正相关。GPT-5.6 Sol平均要花86.2轮互动才完成一个任务,得分63.44%；而GLM-5.2只花11轮，得分37.11%。这说明"多查几次资料"这件事确实有价值。

但篇幅长度跟得分的相关系数只有0.60，比互动轮数的相关性弱一些，而且像豆包Seed-2.1-Pro和Gemini-3.6-Flash，报告篇幅分别写了12089字和10256字,比混元4预览版的9959字还长，但得分却只有43.09%和34.72%，远低于混元4预览版的49.73%。

这说明单纯堆砌文字量，并不等于信息质量更高。

这就像写期末论文，有的同学洋洋洒洒写了八千字，看起来很用功，但读完发现里面全是重复的话、无关的背景介绍，真正切中题目要求的内容没几句；有的同学只写了四千字，但每一句都踩在评分点上。老师打分的时候，字数从来不是标准，踩准得分点才是。如果字数真的能决定分数，那每个学生只要无限扩写就能拿满分，评分这件事也就失去意义了。

真正决定分数的，是搜索得够不够全面，加上把搜到的东西准确地写进报告里。这是两件分开的事，一件叫信息收集，一件叫信息整合。只做好其中一件，分数依然上不去。

**三种常见的翻车方式**

研究团队还专门分析了这些AI系统常犯的错误，归纳出三种典型的失败模式。

第一种叫"过早要求澄清"。有些模型（比如豆包Seed-2.1-Pro和GPT-5.6 Sol）在执行任务的时候,会突然停下来向用户提问,想要确认一些细节。问题是,这套评测用的是全自动化的流程,没有真人在旁边回答它的问题。于是AI就卡在那里,整个任务直接中断,最后连一份报告都交不出来，自然什么分都拿不到。

第二种叫"时间范围越界"。有些任务明确要求AI只能用某个日期之前的信息来回答,但模型（尤其是混元4预览版）经常会不自觉地用上执行搜索那一刻的最新数据。这些数据本身可能是准确的，但对于那个被明确限定的时间窗口来说,它就是错的。论文里举了个具体案例，一个任务要求所有信息必须截止到2026年7月20日，但DeepSeek-V4 Pro在报告里自己承认，它调用API拿到的数据时间戳是2026年8月21日,比要求的日期晚了整整一个月，但它依然把这些"过期"数据写进了报告。

第三种叫"遗漏具体要求"。平均每个任务有将近20条细则，一份读起来挺流畅、挺像那么回事的报告，很可能漏掉了某个具体的实体名称、某个数值、某个日期，或者某个边界情况。整体读下来感觉"写得不错"，但逐条核对细则的时候，会发现不少硬性要求根本没被满足。

论文里给了一个挺典型的案例。有个任务要求AI对比Dify平台里Workflow和Chatflow这两种模式的区别，模型（混元4预览版）正确说明了Workflow可以用"用户输入"或者"触发器"两种方式启动，这条细则通过了；但细则还要求必须说明这两种启动方式是互斥的、不能同时使用，模型完全没提到这一点，这条就判了不通过。表面上看，模型回答了"是什么"，但漏掉了一个关键的限制条件，而这个限制条件恰恰是用户在实际配置系统时最容易踩坑的地方。

**AI打分跟真人感觉对不对得上**

光靠AI裁判打分还不够让人放心，研究团队又补了一轮人工验证，专门去检验"AI打出来的综合排名"跟"真人看了报告之后的真实感受"是不是一致的。

他们挑了30个任务（中英文各15个），请人类评审员直接阅读匿名化处理过的报告（打乱顺序，评审员不知道哪份报告出自哪个模型），凭感觉按照事实准确性、完整度、格式质量给这些报告排名。

结果显示，在这个子集里，AI打分排出来的名次跟人类凭感觉排出来的名次,斯皮尔曼相关系数达到0.89，肯德尔相关系数达到0.81（这两个都是统计学里衡量两组排名有多相似的指标，数值越接近1说明两组排名越一致）。前四名的排序完全一致：GPT-5.6 Sol、Claude Opus 5、豆包Seed-2.1-Pro、Kimi-K3，一个顺序都没变。

稍微有点出入的是排名靠后的几个模型。混元3在AI打分里排第5，人类评审却给了它第7（也就是最后一名）；反过来Claude Opus 4.8和GLM-5.2，AI打分分别排第6和第7，人类评审却分别提前到第5和第6。

这说明整体排名的框架是靠得住的，尤其是头部选手之间的高下之分，但越往后排名越容易出现细微的摇摆，可能是因为落后选手的报告普遍质量都不高，彼此之间的差距本身就比较模糊,人类评审和AI评审对这种"大家都不太行"的情况,判断起来容易产生细微分歧。

Q&A

Q1：LifeSearch评测的是什么内容？

A：LifeSearch是一个专门评测深度研究类AI代理在真实生活和工作场景下表现的基准测试，包含203个中英文任务，覆盖公司调研、学术检索、金融分析、政策查询、行业资讯、技术工具查找和日常生活常识这7个领域，用4014条专家编写的打分细则来评判AI生成报告的质量。

Q2：表现最好的AI模型得了多少分，这个分数意味着什么？

A：表现最好的是GPT-5.6 Sol，得分63.44%，意味着即便是最强的AI系统，面对真实生活查询时仍有超过三分之一的要求没能满足，而且这个最强系统在203个任务里有超过两成的任务得分不到50%。

Q3：AI写的报告越长，分数会越高吗？

A：不一定。研究发现Claude Opus 5和GLM-5.3生成的文字量几乎一样，但得分却相差6.9个百分点，混元4预览版用了更短的篇幅却拿到了跟GLM-5.3几乎相同的分数，这说明报告质量取决于信息是否准确完整地覆盖了要求，而不是单纯堆砌文字量。