给AI视频出一道完形填空题，它考砸了

你有没有玩过这样一个游戏：给你一段视频的开头和结尾，让你猜中间发生了什么。

比如开头是有人打开鸡蛋放进锅里，结尾是一份煎蛋端上桌，你大概能猜出中间无非是煎的过程。这事儿对人来说简单到近乎无聊，闭着眼睛都能想明白。

但如果让一个号称能"看懂视频"的AI来做这道题呢？一群研究者真的做了这个实验，结果发现,大部分AI在这道送分题上摔得很惨。

**这篇论文的名字就叫TempCloze，它想搞清楚一件事：视频AI到底是不是真的理解视频里的时间顺序，还是只是在耍小聪明蒙对答案。**

先说说这个"耍小聪明"是什么意思。

现在市面上评测视频AI的题目，大多是选择题的形式,给一段视频,问一个问题,给四个文字选项,让AI选。这种形式有个隐藏的漏洞：AI不需要真的看视频，光靠读题目的文字就能蒙对不少。

论文里提到一个挺扎心的数据：有研究发现，纯语言模型在完全不看视频的情况下，答题正确率能比瞎蒙高出25个百分点以上。

这是什么概念？

就好比一场考试，你根本没读文章，光看选项里哪个用词最"高级"、哪个和别的选项句式不一样，就能多蒙对四分之一的题。这说明出题人不小心把答案的痕迹留在了措辞里，而不是藏在图片或视频本身。这种漏洞学术上叫语言先验，指的是模型靠语言本身的统计规律而不是真正理解画面内容就能答对题目的现象。这不是AI变聪明了，这是题目出得有毛病。

所以TempCloze团队想了个狠招：干脆别用文字选项了，让AI直接在几段视频片段里选，选出那段真正应该出现在中间的视频。这样一来，AI没法靠"哪个选项写得更像标准答案"这种文字套路蒙分，它必须真的去看画面里发生了什么。

这个思路听起来简单，但做起来处处是坑。

**核心的难题是：如果几个候选视频片段长得完全不一样，那AI只需要靠画面里的场景、物体这些表面特征就能蒙对，根本不需要理解时间顺序。**

这就好比你考察一个人是否真的懂做菜的先后顺序，结果给的选项一个是切菜画面，一个是逛超市画面，一个是睡觉画面——只要认识"厨房"和"卧室"长什么样就能选对，压根不需要懂做饭逻辑。

TempCloze的解决办法是：所有候选答案都从同一个视频里截取，场景、人物、物体全都长得差不多，逼着AI必须靠时间逻辑而不是画面辨识来做判断。

这个设计思路催生了论文里最核心的三个考察维度，也是整篇论文的骨架所在。

三道关卡：内容、时机、节奏

TempCloze把干扰项设计成三种类型，分别叫语义、对齐、进程,英文里是Semantic、Alignment、Progression，论文里简称S、A、P。

语义*：考察"接下来该发生什么事"，干扰项是同一个视频里完全不相关的另一段内容,比如本该是煎蛋的画面,却给你一段后面收拾厨房的画面。这类错误相对容易识别，因为内容本身就对不上。

对齐*：考察"这件事该发生在什么时间点"，干扰项是把正确答案往前挪、往后挪，或者把范围扩大，内容看起来是对的，但时间位置不对。比如明明该是煎蛋进行中的画面，却给了刚下锅那一瞬间，或者已经快出锅的画面。

进程*：考察"这件事该怎样一步步展开"，干扰项是把正确片段倒放、把内部顺序打乱重排，或者把某个动作重复播放。画面元素完全正确，但发展的逻辑乱了套。

这三关的难度是层层递进的。第一关只要认出"这是不是同一件事"，第二关要判断"这件事发生的时间点对不对"，第三关要看穿"这件事展开的方式合不合理"。

论文里给了个特别形象的图解：还是拿煎蛋举例，语义类干扰项可能给你一段"打鸡蛋"的画面（这明明是开头已经发生过的事，重复放在中间就不对了）；对齐类干扰项给你"提前"或"推迟"的煎蛋片段，或者把整个片段范围扩大到包含了前后的其他动作；进程类干扰项给你倒放的煎蛋画面，或者打乱内部顺序的煎蛋过程。

为什么要费这么大劲设计这三层？

因为如果只测一种错误类型，测出来的可能只是AI某个方面的短板，没法看出它到底是哪个环节出了问题。就像体检不能只测血压,还得测血糖、心电图,才能拼出一个人整体健康状况的全貌。这三个维度合在一起，才能精确诊断出AI的时间理解到底卡在哪个环节。

从7万视频到1521条：一场严苛的筛选

TempCloze的视频素材来自七个公开数据集，涵盖长镜头视频、第一人称视角视频和精细动作视频，最终留下1521条视频，平均时长31.3秒。

这个数字看起来不大，但背后的筛选过程相当狠。

论文提到,原始素材里光是LVD-2M这一个来源就有超过8万条视频,经过时长筛选、AI初筛、画质检测、运动幅度检测这四道关卡后，最后只留下192条，淘汰率高达99.37%。

为什么筛选这么严苛？

因为很多视频压根不适合出这道完形填空题。比如那种从头到尾几乎不动的静态镜头,你怎么挖空中间那段,AI都能靠"反正前后差不多"蒙对,因为整个视频就没什么变化可言。研究者用了一种叫光流的技术来检测画面运动幅度,光流*：一种通过比较连续帧之间像素的移动来判断画面中物体运动方向和速度的图像分析方法,只有运动幅度达标的视频才会被留下来做挖空题。

除此之外，研究者还专门请了一个叫GPT-o3的推理模型来审核每条视频的文字描述，判断这个视频的情节是否有明确的先后逻辑，能不能靠开头结尾"锁定"中间应该发生什么。如果一个视频的中间部分换成随便什么内容都说得通，这个视频就不适合拿来出题，因为它测不出AI是否真的理解时间逻辑。

这个筛选逻辑其实也回应了一个更深的问题：不是所有视频都值得拿来考验AI的时间理解能力。就像不是所有作文题目都适合考察逻辑思维，有些题目本身就没有唯一正确答案，硬考只会得出没意义的结果。

31个AI大比武，结果集体翻车

论文测试了10个闭源模型（比如Gemini、GPT系列、Claude系列）和21个开源模型，覆盖面相当广。

结果最扎眼的一组数字是这样的：

在"内容对不对"这一关（语义维度），表现最好的闭源模型Seed1.8能拿到96.25%的正确率，人类基准线是96%，AI甚至已经追平甚至略微超过人类了。

在"节奏对不对"这一关（进程维度），Seed1.8也能拿到92.11%，同样接近人类的97%。

但一到"时机对不对"这一关（对齐维度），画风突变：Seed1.8只有61.93%，最强的开源模型Qwen3.5也只有51.55%，而人类是98%。

**这意味着，即使是表现最顶尖的AI，在判断一件事究竟应该发生在什么时间点上，也要比人类差三四十个百分点。**

这个差距具体意味着什么？打个比方，如果人类做100道对齐题只错2道，那表现最好的AI要错38道，几乎是人类失误数的19倍。这已经不是"略逊一筹"的程度，而是能力维度上的断层。

论文把这个现象总结为整篇研究最重要的发现：对齐维度是当前视频AI的核心瓶颈。它们看得懂"发生了什么"，也能大致判断"这件事怎么展开"，但一旦要精确定位"这件事该出现在哪个时间点"，就集体露怯。

这背后其实揭示了一个挺有意思的认知差异。人类判断时间点靠的是对物理世界连续性的直觉,比如一颗鸡蛋从生到熟需要经历哪些视觉变化,哪个阶段该出现在什么时候,这种判断几乎是本能。而AI处理视频的方式更像是把一堆画面当成静态图片的集合来分析,它能识别每张图里"有什么"，却很难精确把握"这些图之间应该隔多远的时间距离"。

这就好比让一个人看一叠打乱的照片去拼出一个完整的故事，内容对不对他一眼能看出来，但要精确判断两张照片之间应该隔多久,是隔了五分钟还是隔了半小时,这种细腻的时间感知反而是最难的部分。

如果不设这道"对齐"关卡会怎样？

论文特意做了对比实验：如果把干扰项混在一起随机出题，不单独区分维度，会发现对齐类的干扰项是最容易骗到AI的那一类，占了模型犯错原因里最大的比例。这说明如果不单独把对齐维度拎出来考察，这个巨大的短板很可能被语义和进程维度较好的表现给掩盖过去，形成一种虚假的"整体还不错"的错觉。

犯错也有套路：AI最容易踩的两个坑

论文进一步分析了AI具体是怎么答错的，发现错误不是随机的，而是有明显的模式。

在对齐维度里，最常见的错误类型叫"扩展型"错误,也就是AI选中了一个范围被拉长、同时包含了正确答案前后内容的片段。比如Seed1.8-I在所有对齐类错误里，有75%都是选中了这种"扩大版"的答案。

这挺好理解，因为扩大版的候选项确实包含了正确内容,只是多加了一些不该有的部分，画面看起来"没毛病"，AI很容易觉得"这个应该就是对的"。

在进程维度里，最常见的错误类型叫"倒放型"错误,也就是AI没能识别出视频被倒着播放了。GPT-5.4在所有进程类错误里，有67%都是选中了倒放的版本。

这个错误更有意思。倒放意味着整个动作的因果关系反了过来,比如水本该是被倒进杯子里,倒放后看起来像是杯子里的水自己飞回了瓶子。这种违反物理常识的情况，对人类来说一眼就能看穿，但对AI来说似乎没那么明显。

这可能反映出AI在处理视频时，更多是在识别画面里"有什么元素"，而不是真正建立起一套关于"事情发展方向应该是怎样"的物理直觉。就像一个只会认字不懂句法的人，看到"猫追老鼠"和"老鼠追猫"这两句话里的字都认识，却分不清谁在追谁。

换个顺序问一遍，答案就变了

研究者还做了一系列很扎实的"压力测试"，专门考察AI的答题稳不稳定。

第一个测试是打乱选项顺序。同样的题目，只是把A、B、C、D的顺序换一下，AI还能不能选出同一个答案？

结果显示，虽然平均正确率变化不大（波动通常在4个百分点以内），但答案的稳定性很差。论文里用了一个叫翻转率的指标来衡量，翻转率*：候选项换了个排列顺序后，模型对同一道题的判断从"对"变成"错"或反过来的比例，数值越高说明模型越不稳定。

数据显示，翻转率最高能到48.4%，也就是说接近一半的题目，AI换个选项排列方式就可能改变主意。

这说明什么？说明AI压根没有一个稳固的判断依据，它的选择更像是在几个选项之间做相对比较,而不是对每个选项独立打分。这就好比一个人做单选题时不是"我觉得A对"，而是"矬子里拔将军，这几个选项里A看起来最顺眼"，一旦选项排列方式变了，这种相对比较的结果自然也会跟着变。

如果不做这项测试会怎样？

如果只看平均正确率，你会觉得这些AI表现挺稳定的，因为分数波动确实不大。但翻转率揭示的是另一个真相：稳定的分数背后可能藏着极不稳定的判断逻辑。这就像一个学生考试总分一直是80分，但每次做对的题目完全不一样,这种"稳定"其实毫无参考价值，它只是恰好每次蒙对蒙错的数量差不多而已。

第二个测试是看AI更依赖开头还是结尾的信息。研究者做了三种设置：只给开头、只给结尾、开头结尾都给。

结果发现，只给结尾的表现普遍是最差的，只给开头的表现往往接近甚至超过两者都给的情况。比如Seed1.6在进程维度上，只给开头能拿到80%，两者都给是82%，差别不大,但只给结尾骤降到46%,直接腰斩。

这个不对称现象挺值得琢磨。研究者推测，这可能和AI训练时接触的文本大多是按时间顺序正向排列的有关，导致它天生更擅长"从过去推未来"，而不擅长"从未来倒推过去"。

这就好比一个习惯了从头到尾看小说的人，突然让他从结局倒着猜情节发展，会明显感到别扭,不是他能力不行，而是他的思维习惯本身就是单向的。

第三个测试是看视频看得越多，AI表现会不会更好。研究者把可见的上下文范围从只给端点画面逐步扩大到给完整的前后视频。

结果出乎意料：对齐维度的表现随着可见范围扩大而明显下降。这说明对齐类问题所需要的关键线索,恰恰藏在挖空缺口最靠近的那几帧画面里，给的上下文越多，这些关键线索反而被稀释、淹没了。

这个现象让人想起一个生活场景：找钥匙时,如果只在门口那一小块地方找，反而更容易找到，因为注意力高度集中；但如果被要求把整个房子都翻一遍，看似信息更全，反而更容易因为分心而漏掉钥匙真正掉落的那个点。信息量的增加不必然带来判断质量的提升，有时反而是一种干扰。

第四个类似的测试是看视频里抽取的帧数多少（也就是采样密度）对结果的影响，得到了类似的结论：帧数从8张增加到20张，对齐维度的表现同样呈下降趋势。这进一步印证了一个判断，那就是对齐问题的解题关键不在于"看得够不够多"，而在于"看得够不够准"。

第五个测试是给AI多次答题的机会，看它有没有可能蒙对。这个方法叫作Pass@k，Pass@k*：让模型对同一道题回答k次，只要其中任意一次答对就算这道题被解决，k越大代表给模型的试错机会越多，用来衡量模型的答题上限而非单次准确率。

结果发现，多试几次确实能让整体正确率往上走，比如Gemini2.5-Pro和Qwen3.5-397B-A17B在尝试5次后，正确率能比只试1次高出大约30个百分点。但即便这样，对齐维度依然是垫底的那个,多给几次机会并没有改变三个维度之间的相对排名。

这说明对齐维度的短板不是运气问题，也不是能力发挥不稳定的问题，而是一种系统性的、无法靠多次尝试来弥补的能力缺失。

这道题给AI研究带来了什么启发

TempCloze最终揭示的核心问题，其实可以概括成一句话：当前的视频AI擅长认出"发生了什么"，却不擅长判断"什么时候发生"。

这个发现之所以重要，是因为它戳破了一种容易产生的错觉,如果只看那些常见的视频问答类评测，AI在语义理解上表现优异，很容易让人误以为它已经"看懂"了视频。但TempCloze通过把语义、对齐、进程这三个维度拆开单独考察，暴露出了一个被掩盖的短板：AI对时间轴本身的精确感知力，远远落后于它对画面内容的识别能力。

研究者在论文最后提出，未来的视频AI或许需要一些真正"原生"处理时间维度的架构，而不是简单地把视频拆成一帧帧图片来分析。目前大多数视频AI本质上还是在用处理图片的思路来"拼凑"视频理解，这可能正是它们在时间精确性上表现不佳的根源所在。

这个思路让人联想到人类学习乐器的过程。一个刚开始学钢琴的人，可能很快就能认出每个音符对应哪个琴键（相当于语义理解），但要把握好节奏、把音符弹在正确的拍子上（相当于时间对齐），往往需要更长时间的专门训练。识别"是什么"和把握"什么时候"，这本身就是两种不同性质的能力，不能指望其中一种练好了另一种自动就会了。

Q&A

Q1：TempCloze是什么？

A：TempCloze是一个专门评测视频AI时间理解能力的测试集，它给AI看视频的开头和结尾，让AI从四个候选片段里选出正确的中间部分，一共包含1521条经过严格筛选的视频。

Q2：为什么视频AI在TempCloze上表现不好？

A：测试发现AI在判断"事情发生的时间点是否正确"这个维度上表现最差，即便是最强的AI模型正确率也只有六成左右，远低于人类98%的水平，而在"内容对不对"和"节奏对不对"这两个维度上AI表现相对接近人类。

Q3：TempCloze和普通的视频问答测试有什么不同？

A：普通测试通常是给文字选项让AI选择，容易被语言层面的规律蒙混过关；TempCloze直接让AI在几段视觉上相似的视频片段里挑选，逼迫AI必须真正依靠画面里的时间逻辑做判断，而不能靠文字套路蒙对答案。