AI浏览网页到底有多强？一道德语题把顶尖模型全难住了

先讲一个真实的测试题。

题目是德语写的，大意是这样的：有个YouTuber拍了一个欧卡2游戏更新的视频，他开车经过一座城市展示地图改版。视频里他指出，游戏开发商在某根柱子上准确还原了一个限速30的路牌，但是人行道的鹅卵石材质做错了。问题是，在现实世界中那个路牌的位置往左后方几米处，有一家银行。这家银行在2010年度的薪酬报告里，哪个持续经营业务板块的营业利润排名第二？

你没看错，这是一道正经的AI能力测试题。

要回答它，你得先在YouTube海量视频里找到那个具体的欧卡2更新视频,再精确定位到视频里的那个瞬间，然后把游戏里的虚拟场景对应到现实世界的真实地址，接着查出那是哪家银行,最后翻出这家银行十几年前的财务报告,从里面挑出正确的业务板块。

五个环节,任何一环断掉,答案就是错的。这就是**HyperBrowseComp**这个新基准测试想干的事,它专门用这种极度刁钻的问题,去逼真实世界里那些号称能上网搜索的AI агент(智能体)露出马脚。

当AI答题不再是"查资料",而是"破案"

过去几年,衡量AI厉不厉害的办法越来越卷。先是考各种知识题,后来发现AI记忆力太好,很多题目闭卷都能蒙对,于是开始搞"开卷也难"的测试,比如GPQA、人类最后的考试。

但这些测试大多还是考"知识",没怎么考"行动"。

真正接近现实场景的,是让AI像人一样打开浏览器,一步步搜索、点击、阅读,最后拼出答案。OpenAI在2025年推出的**BrowseComp**就是干这个的,它设计了一批短答案但极难搜索的问题,专门测试AI的"持久搜索"能力。

**BrowseComp**:OpenAI提出的网页浏览基准测试,专注于考察AI能否通过持续搜索找到隐藏很深的信息,答案要求简短且唯一可验证。

但BrowseComp有两个明显的短板。第一,它几乎全是英文,而且几乎全是纯文字内容,没有视频、没有图片、没有扫描文档。第二,随着模型越来越聪明,很多"难题"其实已经被互联网上的讨论、复述稀释了,模型靠记忆就能蒙对不少。

后来陆续出现了针对中文的BrowseComp-ZH,针对韩语的K-BrowseComp,还有专门测多模态能力的MM-BrowseComp、BrowseComp-V?。这些工作各自补了一个短板,但没有一个把"多语言"和"多模态"这两个维度同时拉满,而且很多多语言测试的做法是把英文题目直接翻译成别的语言,文化背景和语言的本土味道全丢了。

这就是HyperBrowseComp要补的那块拼图。它由13种语言的母语者或接近母语水平的人,各自独立出题,完全不依赖一份英文种子题库翻译而来。换句话说,一个印尼人出的题,反映的是印尼本地互联网生态和文化语境,不是某道英文题的印尼语翻译版。

这件事的难度在哪?

你可能觉得,出一道难题有什么稀奇的,随便找个冷门事实问一下不就行了?

真正的麻烦在于,随着AI模型参数越来越大、训练数据越来越多,它们的"记忆库"也在飞速膨胀。一道题如果答案在网上出现过几次,被收录进训练数据里,AI压根不用搜索,直接凭记忆就能答对。这种题目看起来难,其实毫无测试价值,因为它测的不是"搜索能力",是"背诵能力"。

研究团队为了解决这个问题,做了一件挺狠的事:他们先用7个完全没有联网权限的模型(包括Gemini、GLM、GPT-OSS、Kimi K2、MiniMax、DeepSeek等)去闭卷答题,如果一道题被两个以上模型蒙对,或者被至少一个模型答对但这个答案本身是那种极难靠瞎猜命中的高精度答案(比如一个精确到小数点的数字),这道题就直接剔除。

**闭卷测试筛选**:在不给AI联网权限的情况下让它答题,目的是排除那些靠模型内部记忆就能蒙对的"假难题",确保留下来的题目真的需要上网搜索才能回答。

这个筛选过程挺有意思。研究团队最初收集了500道题,经过这一轮"去水分",砍掉了77道,最终留下**423道**真正硬核的题目。这就好比考试前先把所有能被题库软件秒杀的送分题全部撕掉,留下来的全是需要真功夫的题。

如果不做这道筛选,会发生什么?答案很直接,测试结果会被"虚高"污染。模型表现看起来不错,但那种"不错"根本不是因为它搜索能力强,是因为运气好蒙对了一道早就被互联网嚼烂的题目。这种虚假的高分,对研究社区毫无价值,甚至会误导后续的模型开发方向。

四条设计原则,拧成一股难度绳

HyperBrowseComp的出题人并不是随便找人写几道题就完事,背后有一套严格的设计逻辑,拆开来看是四条原则。

第一条是答案必须简短且唯一。不管问题多绕,最终答案得是一个具体的名字、日期、数字或实体,不能是开放式的论述题。这样做评判的时候才不会有争议,难度全部体现在"找答案"这件事本身,不体现在"怎么判断对错"上。

第二条是彻头彻尾的多语言。13种语言的作者各自独立命题,没有共享的英文母本。德语、泰语、印尼语、爪哇语、韩语、西班牙语、中文、泰卢固语、埃及阿拉伯语、越南语、俄语、乌兹别克语、菲律宾语,每种语言的题目数量在19到39道之间,分布比较均衡。

第三条是跳出纯文字的框架。统计显示,423道题里大约64.3%的题目需要至少一种非文字形式的证据,视频占了39%,PDF和扫描书籍占29.8%,图片占18.4%,还有需要计算的"算术类"题目占28.1%,音频占10.6%,表格占10.2%,地图占9.7%,图表占1.9%。

**非文字证据**:指答案的关键线索藏在视频画面、音频内容、扫描文档、地图标注等非纯文字载体里,AI需要先"发现"证据藏在哪种媒介里,再去理解这种媒介的内容。

第四条是刻意拉高难度的压力测试思路。出题人会优先选那些检索引擎不友好的信息,比如嵌在长视频某一分钟里的细节,或者扫描文档里某一页的某个脚注。而且在题目验证阶段,如果验证员发现一道题还不够难,或者答案不够唯一,会要求出题人追加一个"指纹"约束。

这个"指纹"的设计很巧妙。举个例子,如果某道题的线索能对应好几本书,验证员可能会要求补一条"这本书里恰好有13幅猫的插画"这样的约束。这条约束对搜索本身没有任何帮助,它存在的唯一目的是确认最终答案真的来自那本符合所有线索的书,而不是碰巧符合部分线索的另一本书。

这就像警察破案时要求的"交叉印证"。单靠一个指纹不能定案,因为可能有人恰好留下相似指纹,但如果指纹、血型、监控录像、证人证词全部对上同一个人,结论才站得住。这个"指纹"约束不会让破案变得更容易,它只会让最终锁定的答案更可信。如果不加这道约束,审题人没法排除那种"看起来符合却其实是另一个答案"的情况,整个基准测试的可信度就会打折扣。

模型实测:最强选手只拿了31.68分

讲完设计思路,进入最关键的部分,这些号称能上网的AI到底考得怎么样。

研究团队测试了五个主流模型:Gemini 3.1 Pro Preview、Gemini 3.7 Flash、GPT-5.6 Terra、GPT-5.6 Luna、GPT-5.6 Sol。测试分三种"搜索装备"配置:厂商自带的内置搜索、第三方搜索接口Exa、还有一个叫OWL的多智能体框架。

**ReAct框架**:一种让AI交替进行"思考"和"行动"(调用工具)的循环机制,AI会先分析该搜什么,再执行搜索,拿到结果后继续分析下一步该做什么,最多循环25次。

**OWL**:一个多智能体协作系统,内部分成任务管理者、协调者、研究员、整合者等不同角色,各自负责不同环节,还配备了截图式的视觉浏览能力。

结果数据有点扎心。表现最好的是Gemini 3.7 Flash用自家内置搜索,拿到**31.68%**的准确率,也就是423道题里答对了134道。第二名是Gemini 3.1 Pro Preview,25.53%。GPT系列几个模型的表现相对逊色,最低的GPT-5.6 Luna只有11.58%。

更值得玩味的是换搜索工具后的表现波动。把Gemini换成Exa搜索接口,准确率直接从31.68%跌到22.22%,降幅接近10个百分点。但同样的操作换到GPT-5.6 Sol身上,准确率反而从19.15%涨到26.71%,提升了7个多百分点。

这说明了一件挺重要的事。模型的"搜索能力"不是一个孤立的、纯粹由模型本身决定的指标,它和配套的检索系统深度捆绑在一起。Gemini显然和Google自家的搜索生态高度适配,一旦换成外部工具,反而发挥不出实力。这就好比一个厨师用自己常年磨合的那套刀具做菜手法流畅,换一套陌生的刀具,哪怕刀本身质量更好,他切菜的速度和精度也会明显下滑。如果不考虑这种"工具与模型的适配度",单纯比较模型本身的参数规模或者训练数据量,得出的排名可能完全失真。

OWL那套多智能体系统的表现则暴露了另一个问题,稳定性。在全部423次测试尝试里,有93次直接因为运行错误而彻底失败,包括工作节点超时、模型调用次数耗尽预算、还有触发了40分钟的硬性时间上限。按照惯例,这些失败全算错误答案,这导致OWL的综合准确率只有17.73%,比Gemini自己单打独斗还低。即便只统计那些成功跑完全程、没有中途崩溃的尝试,准确率也只有22.73%,依然比不上原生搜索。

这个数据背后藏着一笔不太好算的账。OWL这套系统发起了11486次外部工具调用,平均每道题27.15次,其中近7000次是DuckDuckGo搜索,还有3719次是带截图分析的视觉浏览。看起来动作做得很细,但细未必等于准,反而因为流程链条太长,出错环节也更多。

资源消耗方面也值得单独说一说。用Exa搜索接口的三个配置,平均每道题要消耗132万到220万个token,而OWL平均消耗46.2万个token外加133次模型调用。花钱最多的Exa配置里,GPT-5.6 Sol一道题平均要耗费2.19百万token,跑完423道题总共花了75.1个小时。相比之下,Gemini自带搜索的那套配置,反而是又便宜又好用,花的token最少,成绩还最高。

这意味着,昂贵的工具链不等于更好的结果,这个结论本身就值得业界反思一下自己正在砸钱堆砌的那些"重装备"智能体系统。

人类来做这些题,会怎么样?

光看AI的分数还不够立体,研究团队干了一件挺硬核的事,找了三组母语者,针对印尼语、泰语、越南语各挑10道题,让人类亲自上场答题。

规则是允许上网搜索,但不许用任何AI助手帮忙,每道题最多给一小时,超时可以放弃。

结果30道题里,人类答对了15道,正确率50%。平均每道题花了89.5分钟(含放弃的那几道),中位数是54.57分钟。

拿表现最好的Gemini 3.7 Flash来对比同一批题,它答对了13道,43.3%。乍一看,人类和AI打了个平手,但细看才发现这里面藏着一个耐人寻味的错位。

人类和AI答对的题目,重合度很低,两边同时答对的只有8道题。换句话说,对AI来说难的题目,对人类未必难,反过来也一样。具体来看,印尼语题目人类答对了6道,又快又准,但AI在印尼语题目上表现偏弱;泰语题目恰恰相反,人类只答对3道还有2道直接放弃,平均花了159.7分钟,是三种语言里耗时最长的,但AI在泰语上的表现跟印尼语差不多;越南语题目则是人类和AI都答得不错,人类6道对,AI7道对。

这个现象说明,人类搜索信息的方式和AI搜索信息的方式,本质上是两条不完全重叠的路径。人类凭借的是对文化背景、语言习惯、社会常识的直觉判断,能迅速锁定搜索方向;AI靠的是对海量文本模式的统计归纳,擅长处理结构化、可被检索引擎索引的信息,但对那种需要"读懂潜台词"的本地化线索反而容易抓瞎。这就像让一个本地出租车司机和一个用GPS导航的外地司机同时去找一家藏在小巷深处、招牌已经褪色的老店,本地司机凭记忆和直觉几分钟到,导航系统反而可能因为那条巷子信息更新不及时而绕远路。如果完全依赖导航系统这种"标准化工具",碰到那些没被充分数字化、没被精确标注的角落,反而会迷路。

什么样的题目最容易把AI难倒?

研究团队做了更细致的分析,想摸清楚究竟是哪类问题最让AI集体翻车。

统计显示,423道题里有**244道**,占比57.68%,五个模型全军覆没,一个都没答对。而被至少一个模型答对的179道题里,还有49道只被唯一一个模型答对,说明即便在"能答对"的那部分题目里,各家模型的能力分布也相当分散,没有一个全面碾压的赢家。

按模态来看,最容易让模型集体翻车的是图表类问题,8道图表题里有6道全军覆没,失败率75%;图片类题目78道里58道全军覆没,失败率74.4%;地图类41道里26道失败,失败率63.4%。相对来说,音频类题目反而是失败率最低的,45道里只有23道全败,失败率51.1%。

按语言来看,德语和印尼语的题目集体失败率最高,德语38道题里28道全败,占73.7%;印尼语39道里27道,占69.2%。但研究团队很谨慎地指出,这未必说明模型"不擅长"这两种语言,更可能是这两批题目本身出得特别刁钻,毕竟不同语言的出题人出题风格和难度拿捏本来就有差异。

按领域来看,"游戏"类题目失败率最高,33道题里24道全败,占72.7%,其次是"美食饮品"类,14道题里10道全败,占71.4%。

最后研究团队还做了一个挺有意思的文本挖掘,比较"集体失败"的题目和"至少有人答对"的题目,在英文翻译版本里用词上有什么区别。结果发现,"issue"(期刊、杂志的某一期)、"video"(视频)、"page"(页码)这几个词,出现在集体失败题目里的比例特别高。比如包含"video"这个词的47道题里,35道全军覆没,失败率74.5%;包含"page"的39道题里,30道全军覆没,失败率76.9%。

这个发现挺耐人寻味,它暗示了一类共性困境:凡是答案藏在"某个视频的某一刻"或者"某本书的某一页"的问题,AI普遍更难搞定。这类信息往往没有被搜索引擎充分索引,你没法靠关键词直接命中,必须先定位到正确的源头,再精确跳转到那个具体位置,这中间每一步都可能出错。研究团队也很诚实地说明,这些只是描述性的关联,不是因果结论,不能说"包含video这个词就一定更难",但这个信号值得后续研究深挖。

写在后面

读完这篇论文最打动我的地方,其实不是那道欧卡2银行题有多巧妙,而是那个人类对照实验里的细节。印尼语题目人类答得又快又好,泰语题目却让人类抓瞎到要放弃,而这个难度分布跟AI的表现完全不对称。

这说明"难"这个概念本身是有维度的,不存在一个单一的"难度分数"可以同时套用在人类和机器身上。我们习惯用AI在某个基准测试上的分数去推断它"有多聪明",但如果连人类自己在不同语言环境下的表现都千差万别,那种单一分数的参考价值其实很有限。

还有一个细节值得单独说一说。研究团队为了防止题目被未来的模型训练数据污染,专门把数据集加密发布,只给出解码的钥匙。这个做法听起来有点"防君子不防小人",毕竟真想拿去训练的人总能破解,但它至少挡住了那些自动爬虫的"误伤式"收集。这让我想到,一个测试基准的生命周期,本质上是在和模型的进化速度赛跑,今天的难题,可能三年后就变成了送分题,这几乎是所有能力评测绕不开的宿命。

那道德语的欧卡2银行题,现在的答案是"财富管理与瑞士银行业务"。三年后再问同一个问题,会不会随便一个模型都能秒答?

Q&A

Q1：HyperBrowseComp是什么？

A：HyperBrowseComp是一个由13种语言母语者独立编写的多语言多模态浏览基准测试，包含423道极难问题，专门用来测试AI智能体在真实互联网上搜索、追踪线索并验证答案的能力。

Q2：表现最好的AI模型在HyperBrowseComp上准确率是多少？

A：表现最好的是Gemini 3.7 Flash配合自家内置搜索，准确率为31.68%，而大约57.68%的题目所有测试模型都没能答对。

Q3：为什么HyperBrowseComp要先用无网络权限的模型筛选题目？

A：为了排除那些仅靠模型记忆就能蒙对的“假难题”，确保留下的题目真正需要上网搜索才能找到答案，而不是测试模型的背诵能力。