给AI视频裁判出一道100小时的考题：它们真的看懂长视频了吗？

2026年,如果你去问任何一个做多模态大模型的人,视频理解现在解决得怎么样了,他大概会告诉你,已经很不错了。模型能看懂几分钟的视频,能回答关于视频内容的问题,甚至能给别的模型的回答打分,当裁判。

但这里有个问题很少有人问过：如果视频不是几分钟,而是一百个小时呢?

这不是一个假设。现实里的很多视频场景本来就是这样的,一个纪录片系列,一整季的剧集,几十期播客,加起来轻松破百小时。而现在,越来越多的AI系统开始依赖视频语言模型来做"裁判"——评判另一个模型生成的答案好不好,或者给训练过程打分作为奖励信号。人类没法一个一个去看这么长的视频来验证答案,所以裁判模型的判断成了唯一能相信的东西。

问题是,这个裁判自己有没有被认真测试过?

答案有点尴尬。KAIST的研究者们发现,现有所有测试AI裁判能力的基准,视频时长基本都在几分钟以内,很少有超过一小时的。换句话说,我们一直在用"小学生水平的考题"去检验一个号称能处理"博士级"任务的系统。这篇论文要做的事情,就是给这些视频裁判出一套真正难度对等的题目,而且是在100小时级别的视频集合上出题。

这套东西叫PLAYLISTEVAL,专门用来检验视频语言模型能不能在超长视频集合里当好裁判。

为什么现有的测试基准不靠谱

先说清楚问题出在哪。

现有的视频裁判评测基准存在三个致命伤。

第一个是长度问题。市面上大多数测试视频时长不到一分钟,很少有超过一小时的。这意味着裁判模型可以把整段视频一口气看完,根本不需要主动去"找证据"。但现实中的视频往往需要在几十个小时的素材里定位到关键的几分钟,这种"大海捞针"的能力,现有基准根本测不出来。

第二个是证据脱钩问题。很多测试题的答案对错,来自人工标注、标准答案文本或者对视频的文字描述。这就导致一个荒诬的现象:一个从来不看视频画面、只读文字的裁判模型,居然也能在这些基准上拿到不错的分数。这说明基准本身没有真正强制裁判模型去"看"视频。

第三个是可扩展性问题。给几个小时的视频做精细的人工标注,成本极高,这直接限制了现有基准只能局限在少数几个领域,难度固定,也没法扩展到新的视频集合上重新构建。

这三个问题叠加起来,造成的结果是:我们对视频裁判模型的信任,建立在一个从来没被真正考验过的基础上。这就好比一个驾照考试只考倒车入库,从来不考高速公路,然后大家都相信持证人能安全上高速。等出了事故才发现,根本没人测过这项能力。

PLAYLISTEVAL要解决的正是这个空白。它构建了一个完全自动化的流程,能在任意100小时规模的播放列表上,自动生成有难度梯度的问答对,不需要任何人工标注,而且经过验证,和人类判断的一致率高达93.0%。

播放列表怎么选,证据怎么定位

要在100小时的视频里出题,第一步是把这些视频组织起来。

研究团队从YouTube上收集了七个领域的播放列表:教育、剧情、生活、艺术、历史、纪录片和播客。这七个领域覆盖了三种知识类型,静态事实类(比如历史事件、物种生物学知识)、动态叙事类(比如剧情走向、日常生活vlog)和混合类(比如访谈、体育分析)。最终形成的合集包含29个播放列表、457个视频,每个领域大约100小时。

有了视频素材,接下来的关键是怎么把它们变成可以检索的东西。100小时的视频没有任何一个视频语言模型能一次性处理完,必须先切分索引。

具体做法是把每个视频切成30秒的小块,这个长度短到能定位一个具体的视觉瞬间,又长到能容纳一句完整的话。

分块索引*：把长视频切成30秒一段的小单元,每一段单独转成文字记录并生成向量表示,方便后续快速检索定位。

每个30秒的块都会被转成文字记录(用语音识别模型),同时结合画面帧和文字内容生成一个向量表示,这样"看到的"和"说出的"内容都被编码进去了。这些块级别的向量,又会在10到30分钟的"片段"这个粒度上做平均,因为这才是证据真正落地的尺度。

这里有个很值得琢磨的设计,为什么偏偏是30秒这个长度?

想象你在整理一个巨大的仓库,如果货架格子太小,一件完整的商品(比如一句完整的话)会被拆散放在两个格子里,找的时候永远凑不齐;如果格子太大,里面塞满了各种不相关的东西,你想找的那个小物件混在一堆杂物里,翻半天都翻不出来。30秒正好是那个"刚好能装下一件完整商品,又不会塞进太多杂物"的格子尺寸。如果换成5秒一块,一句话很可能被切断在两块之间,检索的时候两边都对不上;如果换成5分钟一块,一个关键细节可能只占这5分钟里的3秒钟,检索系统很难精确定位。

问题怎么"难"起来:两段视频拼一道题

光有索引还不够,核心的难点在于:怎么让一道题真的必须"看视频"才能答对,而不是读文字记录就能蒙对。

这套流程分成两个阶段,第一阶段生成题目和标准答案,第二阶段生成错误答案作为干扰项。

第一阶段的做法很巧妙。系统会从同一个领域里挑出两段相似度在0.40到0.90之间的视频片段,相似度不能太高(否则内容重复),也不能太低(否则凑不到一起出题)。然后让Gemini-3-Flash同时观看这两段视频(带音频),生成一个问题、一个标准答案,以及验证用的元数据。

这个问题有个很特别的地方:它从来不直接说出关键人物或物体的名字,而是只用他们在画面里的周边环境来指代。比如不会说"波特兰的白鹿标志",而是说"位于车流密集街道之间、屋顶结构上方的发光符号"。这意味着,你必须先在视频里找到那个场景,才能知道问题在问什么。

标准答案则是一段3到5段的长文本,每句话都要标注它对应的视频出处,精确到具体片段的时间戳。这些引用构成了这个问题的"证据地图"。

生成完之后,系统不会直接相信这个题目质量合格,而是要经过三道验证关卡。

第一道叫结构校验,纯规则检查,答案至少要有三段,引用要覆盖两段视频里各2到15个块,确保证据既不稀薄也不过度分散。

第二道叫必要性检验,这是关键。系统会做两个测试:一个是让另一个模型只看打乱顺序的文字记录来回答问题,如果它能答对,说明这道题不需要看视频,直接判为不合格;另一个是让模型完全凭"记忆"(不给任何输入)来回答,如果模型靠着世界常识就能蒙对,同样判不合格。

第三道叫视频充分性检验,反过来验证:视频里到底有没有足够的信息支撑这个答案。用第三个不同家族的模型去核实。

每一道关卡的验证者,都特意选用和生成者不同的模型家族。这是为了避免"自我偏好偏差",简单说就是不能让一个模型自己出题、自己判卷,还刚好都认为自己是对的。

自我偏好偏差*：模型倾向于认为自己(或同家族模型)生成的内容质量更高,这会导致验证结果失真,所以验证者和生成者必须来自不同的模型家族。

如果一道题被任何一关拒绝,拒绝的理由会被原样反馈给生成器,让它带着"上次错在哪"的信息重新生成。这个反馈循环让整个流程可以自我纠错,不需要人工介入决定"该重新生成哪里"。每道题最多重试6次,超过就放弃这对片段,换下一对。

制造"看不见的错误":视觉干扰项怎么造出来

第一阶段搞定了正确答案,第二阶段要做的是制造几个"看起来很像对的"错误答案,难度逐级递增。

具体做法是,让Gemini-3-Flash观看同样的两段视频,基于标准答案改写出四个版本,分别评为4分、3分、2分、1分(标准答案是5分)。改写的原则很严格:只能篡改画面里能看到、但文字记录里绝对提不到的细节,比如颜色、空间布局、手势、道具、屏幕上的文字图案。语气、结构、长度都要和标准答案保持一致。

这个设计的巧妙之处在哪?它逼着裁判模型必须真正"看"视频,而不能靠读文字投机取巧。

这里可以打个比方。假设你要考察一个人是不是真的去过某个博物馆,而不是靠着导览手册背下来的。如果你问"这幅画叫什么名字",答案在手册上写着,靠死记硬背就能蒙对。但如果你问"这幅画左下角那只小狗的项圈是什么颜色",导览手册压根不会提这种细节,只有真正站在画前面看过的人才答得出来。如果不做这种"只有画面才知道"的干扰项设计,裁判模型完全可以靠读文字记录蒙混过关,那这场考试就白考了,根本测不出模型有没有真正理解视频。

生成完这些干扰项之后,同样要经过一道验证关卡,叫"可探测性检验"。逻辑是反过来的:错误必须做到"文字看不出来,但视频里看得出来"。两个检验分别是:

文字不可探测性检验,让两个只看文字(不看视频)的裁判分别给标准答案和四个干扰项排序,如果两个裁判都能靠文字正确排出顺序,说明这批干扰项做得太浅显,直接判不合格。

视觉可探测性检验,让另一个模型看视频排序,只有这个模型能精准复现出"标准答案>4分>3分>2分>1分"这个预设的顺序,这批干扰项才算通过。

最后,系统还加了一道独立的"难度关卡",用两个相对较弱的模型(Qwen3-VL-30B-A3B和InternVL3.5-8B)去做题,只保留至少有一个模型答错的题目对。这样做的目的是过滤掉那些"随便一个普通模型都能轻松秒杀"的简单题,让最终的题库真正有难度梯度。

经过这一整套流程,最终生成的题库叫PLAYLISTBENCH,一共630对偏好对,横跨七个领域,90对每个领域。

成本和可靠性:一美元一道题,靠得住吗

这套全自动流程听起来很复杂,但实际花费出乎意料地低。

建这个题库的总花费是352美元,平均每道通过验证的题目大约1美元(包括所有失败重试的成本)。之所以便宜,是因为便宜的、纯文字的检查放在最前面筛选,只有真正通过初筛的题目才会进入最昂贵的视频模型验证环节,这样把大部分成本留给了真正需要视频理解能力的验证步骤。

那么,这套自动生成的题库,靠不靠谱?研究者专门找了人类标注员来对照检验。他们从题库里抽取了152对偏好对,让人类标注员判断哪个答案更好。结果是,人类标注和这套自动流程预设的正确答案一致率达到93.0%,而且标注员之间的一致性(用Krippendorff's alpha衡量)达到0.781,这是一个相当高的数字,说明人类看这些题目的判断是稳定的。

顺带一提,验证这152对题目,人工成本约每对4.7美元,而这套自动流程验证每对题目只要0.5美元左右,便宜了将近8倍。这个对比也从侧面说明了为什么人工标注没法scale到这个视频时长规模,不是不想做,是真做不起。

裁判考试成绩单:最强的也才75.4%

题库有了,接下来就是让各路AI裁判来考试。研究团队测试了17个来自8个模型家族的视频语言模型,包括Gemini系列、GPT系列、Qwen系列、Kimi、Gemma以及几个专门为视频评判任务微调过的模型。

结果相当扎心。表现最好的裁判是Gemini-3.7-Flash,在有检索辅助的情况下,配对准确率是75.4%。这个数字听起来还不错,但对比一下人类93.0%的一致率,差距足足有17.6个百分点。

再往下看,其他主流商用模型的表现也不算亮眼:Qwen-3.8-Max是73.9%,GPT-5.6-Terra是72.5%,Kimi-K2.6是71.4%,而Gemini-3.5-Flash-Lite只有59.5%。

更让人意外的是,专门针对短视频训练出来的"裁判专用模型",比如InternLM-XComposer-2.5-Reward和VideoJudge系列,表现居然只有47.8%到52.7%,几乎等同于随机瞎猜(50%基准线)。这些模型是专门为视频评判任务微调过的,理应表现更好,但结果却不如通用模型。

这是为什么?因为这些裁判模型的训练素材大多是短视频,它们从来没学过怎么在几十个小时的素材里"找证据"。这就像一个只在小区里练过车的司机,考试题突然换成了跑长途高速,他连怎么判断该在哪个出口下高速都不会,更别说安全驾驶了。领域没变,难度维度变了,原本积累的经验完全失效。

给裁判"配眼镜":检索能帮上多大忙

既然裁判模型没法一口气看完100小时的视频,那怎么给它喂证据?

论文比较了两种方式。一种叫"检索式",用一个专门的检索模型在整个视频库里,根据问题内容找出最相关的片段,取排名前64的块喂给裁判。另一种叫"均匀采样",不管问题内容是什么,直接在整个领域视频里平均取样。

结果很清楚:提供有针对性的检索证据,比盲目均匀采样效果好得多。对Gemma-4-26B-A4B这个模型来说,用检索证据比均匀采样,准确率能提升10.5个百分点;对最强的Gemini-3.7-Flash来说,提升也有4.4个百分点。

但这里有个例外,那些专门为视频评判微调过的裁判模型,给它们检索证据几乎没有效果,甚至有轻微下降。这说明"喂对证据"只是必要条件,不是充分条件,模型自己得有能力去理解和运用这些证据,如果推理能力本身有短板,再好的证据也白搭。

再往深一层看,视频集合规模越大,检索的价值就越明显。研究者把检索范围从只有两段"oracle"证据(相当于告诉模型答案就在这两段里),逐步扩大到10小时、24小时,再到完整的约100小时,观察裁判准确率的变化曲线。

结果显示,每个裁判模型在只有oracle两段证据时表现最好,随着搜索范围扩大,准确率持续下降。用检索方式,Qwen-3.7-Flash从73.6%降到67.5%;不用检索、纯均匀采样,同一个模型的降幅要陡峭得多,Gemma-4-26B-A4B在均匀采样下从oracle到完整领域掉了13.7个百分点,而用检索只掉了3.2个百分点。

这里可以想象一个场景:你要在一本100页的书里找一句话,如果有人直接告诉你"答案在第43页第三段",你几乎不需要检索能力就能秒找到;但如果只给你说"答案在这本书里的某个地方",而没有任何目录或索引,你翻书的效率会随着书页数增加急剧下降。检索系统的作用,就像是给这本书装了个目录,它不能保证你翻到那一页就能理解内容,但至少能大大缩短你翻书找页的时间。如果不做检索,只靠均匀撒网式地随便翻几页,那本100页的书越厚,你找到关键那句话的概率就越低。

不过这里还有一个残酷的现实:即便有了检索的帮助,表现最好的检索器,命中率也只有37.9%(Hit@10指标,要求两个关键证据片段都出现在检索结果的前10名里)。也就是说,超过六成的情况下,检索系统根本没能把正确的证据片段找出来,这直接决定了裁判模型不管多聪明都无力回天。

画面和文字,谁也不能少

另一个有意思的发现是关于输入模态的。这套题目设计的初衷,就是让决定性的证据藏在画面细节里,而周边背景信息由旁白文字承载。那么,如果只给裁判文字,或者只给画面,会发生什么?

实验证明,两种单一模态都不够用。去掉画面帧或去掉文字记录,裁判准确率会掉2到7个百分点,不管去掉哪一个都会损失表现。这印证了题目设计本身的初衷:证据分布在两种模态里,缺一不可。

另外一个细节值得一提:用文字空间做检索,效果比用音频空间做检索更好。这可能有点反直觉,毕竟视频里明明有声音信息,为什么文字反而更有效?原因在于,研究者特意排除了那些只能靠听觉判断的问题(比如音乐、语气这种纯听觉属性),所以在这个特定设定下,文字承载的信息密度确实更高,检索效果自然更好。

烧脑思考多久才够:推理预算的边际效应

论文还测试了给模型更多"思考时间"是否有帮助。结果显示,给模型开启推理功能确实有明显提升,Gemini-3.5-Flash-Lite从"不推理"到"适度推理",准确率从51.7%涨到59.5%,提升了7.8个百分点。但如果继续加大推理预算,从"低"档到"高"档,输出的token数量翻了五倍多,准确率却只涨了0.5个百分点。

这个现象说明,适度思考是值得的,但堆更多计算量不会自动解决问题。真正的瓶颈不在"想得够不够深",而在"看得够不够全"。

同样的道理体现在图像分辨率的测试上。研究者把裁判接收的每帧图像分辨率从"低"调到"高",发现准确率最多也就变化1.3个百分点,而API调用成本却翻了一倍多。这再次说明,限制因素不是"细节看得够不够清楚",而是"有没有找到正确的那个瞬间"。

四种翻车方式:错误案例长什么样

研究团队还挑了100个案例做人工复核,把裁判模型判断错误的原因归为四类。

第一类是检索错误,占比最高,大约61%。真正的证据片段压根没被检索系统找出来,自然也就没机会传到裁判模型面前。这是整个流程里最大的失败源。

第二类是采样错误,大约15%。这种情况是检索系统找对了30秒的那个块,但从这个块里抽取的画面帧碰巧没有落在关键瞬间上,证据虽然"在场"却"没露面"。

第三类是推理错误,大约16%。证据确实送到了裁判模型面前,但模型被干扰信息误导,没能识别出真正的关键线索。

第四类是感知错误,大约6%。关键画面清晰可见,但裁判模型看错了,比如认错了手写字,或者判断错了某个角色的特征。

这四种错误的比例分布,很直观地告诉我们真正的短板在哪里。绝大部分失败发生在"证据能不能被找到"这个环节,而不是"模型的理解和推理能力够不够"。这意味着,提升视频裁判能力的突破口,不是让模型变得更聪明,而是让检索系统变得更精准。

这个发现让我想起找东西的经历。你在一个乱糟糟的抽屉里翻东西,大部分时间都花在"翻"这个动作上,真正拿到东西之后判断它是不是你要的那个,反而只需要一眼。如果抽屉整理得井井有条,翻找的时间会大幅缩短,拿到东西之后的判断环节本身反而没那么费劲。视频裁判模型现在的困境,更多是"抽屉太乱",而不是"眼睛不好使"。

写在后面

读完这篇论文,一个让我印象很深的细节是,那些专门为视频评判任务训练出来的模型,反而在长视频场景下表现得不如通用大模型,甚至跌到随机水平以下。这个结果打破了一个我原本以为很自然的假设:专业化训练总是比通用训练更适合特定任务。但显然,专业化训练的前提是训练素材和测试场景要匹配,一旦场景发生量级上的跃迁(从几分钟到上百小时),原本积累的专业能力可能完全失效,甚至变成一种负担,因为模型习惯了"整段看完"的模式,反而不擅长"主动搜寻"。

另一个值得单独说的细节是,论文里那道关于波特兰白鹿标志和塔科马钟楼的例子。当检索系统被替换成更大范围的搜索空间之后,一段关于荷兰鹿特丹市场大厅的旁白,因为文字上和"钟楼"这个概念相似,居然把真正的塔科马钟楼线索挤到了后面,误导了GPT-5.6-Terra这样强大的模型做出错误判断。这个案例揭示了一个很微妙的风险:检索系统不是简单地"找相关内容",它有可能被表面上的语义相似性欺骗,而这种欺骗恰恰发生在检索范围扩大、干扰项增多的时候。这提示我们,视频集合越大,不仅是"找到证据"变难了,连"避免被错误证据误导"这件事本身也变难了。

论文里还提到一个现象,让人不禁联想到人类考试作弊的心理学。较弱的裁判模型在两个答案调换位置之后,大约一半的判断会跟着调换位置而反转,这说明它们更多是在依赖"哪个位置的答案看起来更顺眼"这种表面线索做判断,而不是真正基于内容本身。而强的裁判模型位置调换后判断基本保持一致。这个"位置偏见"现象,某种程度上像是一个学生做选择题时,不是真的读懂了题目,而是凭着"选项通常放在B比较容易对"这种经验规律去蒙。

这篇论文留下的一个开放性问题是,如果检索本身就是瓶颈,那么未来的路径是不是应该往"让模型自己去主动探索视频"这个方向走,而不是被动依赖一个外部检索器?论文里也简单测试了让模型自主调用工具去搜索证据,结果只比固定检索方式略好一点,离人类水平还差得很远。这说明单纯换一种"找证据"的方式,可能还不足以解决根本问题。真正的答案会长什么样,现在还不知道。

Q&A

Q1：PLAYLISTEVAL是什么?

A：PLAYLISTEVAL是KAIST研究团队提出的一套全自动框架,专门用来检验视频语言模型能不能在超过100小时的超长视频集合里正确当"裁判",判断两个答案哪个更好。它不需要任何人工标注就能自动生成有难度梯度的测试题目。

Q2：现在最强的AI视频裁判模型准确率能达到多少?

A：表现最好的是Gemini-3.7-Flash,在有检索辅助的情况下配对准确率是75.4%,而人类标注员的一致率能达到93.0%,中间还有将近18个百分点的差距,说明这个能力还远远没有解决。

Q3：为什么专门为视频评判任务训练的模型反而表现不好?

A：因为这些专用裁判模型的训练素材大多是短视频片段,它们从来没学过怎么在几十个小时的视频素材里主动检索和定位关键证据,一旦场景切换到超长视频,这种"整段看完"的训练模式就完全不适用了,准确率甚至跌到随机瞎猜的水平。