Benchmark Radar：当AI评测基准多到数不清，谁来帮你查清楚它们的底细？

你有没有遇到过这样的情况：想买个东西，翻遍了十几个购物网站的评测,每个网站都说自己测得最全,可你越看越糊涂,因为这个网站说A产品好,那个网站又说B产品强,你根本搞不清楚它们测试的条件是不是一样。

现在把这个场景搬到AI圈子里,情况只会更夸张。

一、当基准测试本身变成了一场混乱

2026年的AI圈子,每天都有新模型发布,GPT-6 Astra、Claude Fable 5.1,这些名字光是听起来就让人觉得能力惊人。但问题是,你怎么知道它们到底强在哪里,弱在哪里？

答案是靠基准测试。

**基准测试**：用来衡量AI模型某项能力的标准化考试，比如MMLU测知识面，SWE-bench测能不能修复真实的GitHub代码问题，GPQA测研究生水平的科学问题。

可现实是,这类"考试"实在太多了。论文里提到,光是这篇研究收录进来的,就有1283条基准记录,横跨编程、推理、安全、多模态、金融、生物、化学十几个领域。这些测试分散在论文网站、代码托管平台、数据集仓库、公司发布的模型报告里,想把它们凑齐,要跑遍无数个地方。

这就好比你想做一份市面上所有智能手表的功能对比表,但功能说明分别写在天猫详情页、京东评论区、品牌官网、科技博主的测评视频里,而且没人告诉你哪个视频测的是最新款,哪个测的是三年前的老型号。

如果没有一个统一的地方把这些信息汇总起来会怎样？答案是每个想做新评测的研究者,都得自己重新做一遍这种苦力活。论文里就提到一个真实的例子:一位研究者早年为了给新基准找"竞品",手动整理了一张对比表,横向对比了11个相关基准测试的设计维度,论文里说这项工作耗费的精力,比这个项目里除了做数据集之外的任何环节都要多。

这就是Benchmark Radar要解决的问题:它不是又造了一个新的排行榜,而是想做一个"活的数据库和搜索引擎",把散落各处的基准测试信息汇总起来,同时保留每条记录的来源和证据,让人能顺藤摸瓜查回原始出处。

二、这个系统是怎么把信息喂饱的

Benchmark Radar的信息来源分成两条腿走路。

一条腿叫"每日发现",另一条腿叫"基准目录"。

**基准目录**：由四个权威来源汇总而来的正式记录库，包括LLM Stats、OpenCompass Hub、Artificial Analysis三个专业评测平台，以及从各大模型的官方技术报告里提取的基准提及记录。

每日发现这条腿更像是一张撒出去的网。系统依赖37个信息源,其中13个是直接连接的接口(比如arXiv论文库、Hugging Face模型社区、GitHub代码搜索),另外24个是持续监控的科研机构和企业官方博客源,比如OpenAI News、Google DeepMind、Meta Research这些地方。每次收集运行,系统会扫描过去48小时内出现的内容,记录哪些来源成功了,哪些失败了,还会自动剔除时间戳异常的"未来数据"。

截止到论文统计的时间点,这套每日发现机制已经积累了11068条观察记录,涉及6546个通过精确标识符(比如DOI、arXiv编号)关联起来的独立"artifact"(可以理解为一篇论文、一个代码仓库、一个数据集或一次版本发布)。

**Artifact**：论文中定义的独立信息单元，指一篇论文、一个代码仓库、一个数据集或一次产品发布，通过DOI、arXiv ID这类精确标识符互相关联，区别于"记录"这种更粗粒度的单位。

这里有个细节特别值得琢磨。系统设定了"核心来源"的概念:arXiv、Hugging Face Hub、GitHub Search这三个必须保持健康运转,才允许当天的收集结果发布出去。这就像是一个新闻编辑部规定,今天的头版新闻必须来自三家最权威的通讯社,如果这三家今天全断线了,那宁可今天不发头条,也不能拿二三线小道消息凑数。而24个企业博客源即便全部抓取失败(论文里提到确实发生过,比如某次因为API密钥缺失,某个搜索源直接挂了),也不会阻止当天数据的发布,因为它们只是锦上添花的补充信息。

这种设计的代价和收益是什么？如果不设这个核心与非核心的区分,那每次任何一个小众信息源抽风,整个每日更新就得停摆,系统的可用性会大打折扣。但反过来,如果把核心来源的门槛设得太低,数据质量就没法保证。这是一种精心权衡后的取舍。

三、1283条记录里,近四成压根没有分数

这是整篇论文里最让我意外的一个发现。

按照常理,一个"基准测试"应该天然自带分数,不然这测试有什么用？可Benchmark Radar的审计结果显示,在全部1283条记录里,只有790条有实际的数字分数,剩下493条完全没有分数记录,占比接近四成。

这听起来是不是很反直觉？一个所谓的基准,连一个分数都没有,它凭什么算作基准？

论文对此的处理方式其实很克制,也很诚实。它没有把这些没分数的记录直接删掉,而是保留下来,原因是:即便一个基准测试还没有被任何模型实际打分,它依然可能提供了有价值的论文、代码仓库或数据集,这些是后续研究者判断"这个测试值不值得用"的重要证据。审计发现,在493条无分数的记录里,有464条依然保留着论文、代码或数据集的链接,只有29条是彻底的"三无"记录。

论文举了一个具体的例子:OpenCompass Hub里有一条叫A-Bench的记录,它链接了论文、代码仓库和数据集三样东西,但至今没有任何存档分数,可能是这个测试刚刚发布,还没有模型去跑它。

这里有一个特别重要的区分,论文反复强调:模型ID和文档引用不能互相替代着数。

比如GPQA Diamond这个基准,在Artificial Analysis这个来源下有586个不同模型的分数,但只引用了1篇文献;而在"模型报告"这个来源下,同样是GPQA Diamond,却引用了27篇文献,但只有19个模型的21条分数记录。这两组数字讲的是完全不同的故事:前者是"一篇论文的方法被反复套用到几百个模型上打分",后者是"这个测试被反复讨论,引用了很多篇不同的相关论文"。

如果把这两种计数方式混在一起统计,会发生什么？你会得出一个完全失真的印象,以为某个基准"被广泛研究",实际上它只是被一篇论文的评测框架反复调用而已。这就像你去看一家餐厅的"好评数",如果不区分"100个不同食客各写了一条好评"和"1个食客反复来了100次都写好评",你得到的信誉度判断会完全不一样。

四、分数能直接拿来比吗？答案是大概率不能

这是全文最"打脸"直觉的部分。

我们下意识会觉得,既然都是百分制打分,A模型考了85分,B模型考了90分,那B肯定更强吧？

论文用非常严谨的态度戳破了这个假设。在790条有分数的记录里,只有82条明确声明了"百分比量纲、已知的分数方向(是分数越高越好还是越低越好)、数值落在0到100之间"这三个条件全部满足,剩下708条,占了绝大多数,要么量纲不明确,要么无法验证。

论文特别提醒了一句很扎心的话:即使两个基准测试显示的分数都长得像百分制,这也不代表它们测试用的是同一个版本、同样的提示词、同样的工具权限、同样的尝试次数、同样的评审标准。换句话说,分数长得一样,不代表可比。

这就好比两场考试都是满分100分,一场是开卷考,允许查资料、允许用计算器,另一场是闭卷考,什么都不能带。哪怕两个学生都考了90分,你能说他们水平一样吗？如果你不去核实这些"考试规则"上的差异,直接把两个90分拿来比高低,你得出的结论很可能是错的,而且错得理直气壮,因为表面上数字确实相等。

这也是为什么论文的作者们花了大量篇幅去做这个"全量普查",而不是简单地在网站上放一个排行榜就完事。他们区分了"文档标注的日期"和"模型发布日期"这两种截然不同的时间戳:12594条分数记录用的是模型发布时间作为代理日期,只有322条用的是论文正式发表日期,这两者不能划等号。一个模型可能在2026年3月发布,但相关评测论文是2026年6月才正式挂出来的,这中间三个月的时间差,可能足够让评测方法本身发生变化。

五、给基准测试们做人口普查:分类学的意义

除了分数的严谨性,论文还做了一件挺有意思的事:给这1283个基准做了一次"人口普查式"的分类。

他们把绝大多数记录(1279条,占99.7%)归到了11个一级能力领域和63个二级子领域里,唯独4条记录因为原始数据爬取时啥描述都没留下,只能老实标注为"未分类",而不是硬凑一个类别糊弄过去。

**Level 1分类(一级能力领域)**：论文划定的11个顶层能力大类，比如多模态感知与生成、编程与软件工程、语言与交流、数学与逻辑推理、智能体与工具使用等，每条记录只能归入其中一个大类。

有意思的是"facet(切面属性)"这个设计。论文里特别区分了"一个记录只能属于一个Level 1大类"和"交互范式、输入模态这类属性是独立的切面标签,可以同时挂多个"。举个具体的例子:一个负责解决GitHub代码问题的基准测试,它本质上属于"编程与软件工程"这个一级大类,但它同时也可能带有"agentic(智能体式)"这个切面标签,因为它是通过智能体自主完成任务的方式来测试的。

论文用数据说明了这个设计为什么重要:在全部345条带有"智能体"这个切面标签的记录里,真正被归为"智能体与工具使用"一级大类的只有128条,剩下117条其实被归到了"编程与软件工程"大类下面,还有一部分散落在另外6个大类里。

如果这个分类系统只设一个轴,不允许切面标签的存在,那这117条实际上带有智能体属性的编程类记录就会彻底从任何"智能体评测总数"的统计里消失。这就像你想统计一个城市里"既会开车又会做饭"的人有多少,但户籍系统只允许每个人登记一个职业标签,那些明明会做饭的出租车司机就永远不会出现在"会做饭"这个统计口径里,除非你专门设计一个独立的"技能标签"字段。

论文还做了一个时间趋势分析,发现"智能体与工具使用"这个类别的记录占比,从2023年的8%左右,一路涨到2025年的30%,涨幅相当惊人。为了确认这不是"数据源本身的偏差"造成的假象(比如某个数据源只在特定年份大量收录了智能体类基准),作者们专门做了一次敏感性检验:把每年的来源构成重新加权到统一的比例后再算一遍,智能体占比的波动幅度也就1.1个百分点,证明这确实是真实的领域趋势,不是统计口径变化带来的错觉。

六、真实的使用场景:一次查重之旅

理论讲了这么多,论文里有一段"实战演示"特别接地气,讲的是一位研究者想验证自己要做的新评测,是不是和已有工作撞车了。

这位研究者想查的方向很具体:2026年8月份,有没有人已经在做"智能体训练中的信用分配"相关的研究,而且用的是小型Qwen系列模型做可复现的基线实验。

他没有自己一个个去翻论文网站,而是让一个AI编程助手装上了Benchmark Radar的命令行客户端,下载本地语料库,直接在本地做检索。这个AI助手检索完之后,还会去检查每条候选记录有没有配套的论文链接、代码仓库链接、数据集链接,判断这条线索值不值得深挖,还会额外用网页搜索去补充那些用不同措辞描述、系统可能漏检的相关工作。

最后整理出来的对比表格里有5篇相关论文,时间跨度从8月6日到8月28日,每一篇的Qwen基础模型型号、信用分配的具体思路、用到的评测基准都列得清清楚楚。比如SRPO这篇论文用的是反思条件化的密集token级信号,在AIME'24、WebShop、ALFWorld这些基准上测试;而ContextPilot用的是从粗粒度到动作级别的信用分配,测试场景是长文本理解相关的基准。

这个案例最打动我的地方,不是检索有多智能,而是论文诚实地承认了自己的边界:这套系统负责把候选线索递到你手上,连带着标注了这条线索里哪些查询词命中了、命中在哪个字段、匹配分数是怎么算出来的,但最终判断这条线索相不相关、要不要写进对比表,还是得靠人或者AI去读原始证据、自己下判断。

这就像一个尽职的图书馆管理员,他能在几分钟内把所有和你研究主题相关的书籍摆在你面前,还能告诉你每本书是因为书名里的哪个词被检索到的,但他不会替你读完这些书、也不会替你判断哪本书才是真正有价值的参考。如果没有这样一个"摆书"的角色,你自己一个人去图书馆一排排书架找,那种效率和这次演示里几分钟搞定的效果,差距可能是数量级的。

七、这套系统自己有没有说清楚它做不到什么

一篇严谨的研究,不该只讲自己做到了什么,更该讲清楚自己的边界在哪里。Benchmark Radar这篇论文在这方面做得挺坦诚。

它承认arXiv这个信息源只会抓取新提交的论文,不会回溯性地补全那些在系统开始运行之前就已经发表、后来又出新版本的旧论文。论文作者甚至自曝家丑:他们在写"相关工作"这一节的时候,用自己的检索系统漏掉了两篇本该被找到的早期研究,最后是靠一位合著者凭人工经验才把它们捞回来的。

它也承认目前的检索排序算法用的是BM25F这种基于关键词匹配的传统算法,而不是更先进的语义检索。

**BM25F**：一种基于关键词匹配和字段加权的经典文本检索算法，能识别查询词出现在标题、描述等不同字段里的重要性差异，但无法理解"意思相近但措辞不同"的语义关联。

这意味着如果你搜索"信用分配"，而某篇论文用的是完全不同的表述方式来描述同一个概念，这套系统很可能检索不到它。论文明确说,后续要评估更先进的语义检索方法,需要人工审核过的相关性标注数据,这项工作眼下还没做。

系统的分类模块也有个尴尬的坑:论文提到,在持续集成流程里用的那个"确定性空提取器",面对5863条从每日发现渠道抓来的新线索,一个能力等级标签都没能自动分配出来。完成这些标签的自动化标注,是一项独立于日常维护之外的额外工作。

写在后面

读完这篇论文,最触动我的其实不是那些漂亮的统计数字,而是它反复强调的一个态度:宁可保留一条没有分数、没有日期、没有引用的"残缺"记录,也不愿意伪造或推测出这些信息来让数据看起来更完整。

这种"知道自己不知道什么"的克制,在AI这个每天都在比拼谁的模型分数更高的行业里,显得格外珍贵。

有一个细节我反复琢磨了很久:同一个基准测试Humanity's Last Exam,在Artificial Analysis这个数据源里积累了577个模型的打分记录,但目前报告过的最高分只有55.47分,这意味着即便是当下最强的AI模型集体上阵,面对这套"人类最后的考试",及格线都还没摸到一半。这个数字和论文里反复强调的"分数不能随便比较"放在一起看,忽然让我意识到一件事:我们习惯用一个单一的排行榜数字去评判AI有多强,可真实的评测世界远比排行榜复杂得多,背后是成千上万条互相之间未必可比的证据碎片。

一个基准测试系统最终要回答的问题,或许不是"哪个模型最强",而是"我们凭什么相信这个分数"。这个问题,可能比排行榜本身更值得追问下去。

Q&A

Q1：Benchmark Radar是什么？

A：Benchmark Radar是一个面向AI基准测试的活数据库和搜索引擎，它每天从37个信息源收集新发布的论文、代码库、数据集，同时把权威评测平台的目录整合起来，保留每条记录的来源证据，方便研究者查找和比对AI评测基准。

Q2：Benchmark Radar收录的1283条基准记录里为什么有近四成没有分数？

A：因为该系统采取不删除原则，只要一条基准记录存在，即便暂时没有任何模型跑过它、没有数字分数，只要它有论文、代码或数据集链接，系统依然会保留这条记录，供研究者判断是否值得使用。

Q3：不同基准测试的百分制分数能直接拿来比较吗？

A：大概率不能。论文审计发现，790条有分数的记录中只有82条明确验证了百分比量纲、分数方向和数值范围，即便量纲相同，测试版本、提示词、工具权限、评审标准的差异也会导致分数无法直接比较。