拆解视频大语言模型评测基准：知识、空间感知还是真正的时序理解？苹果公司研究团队带来新分析框架

在人工智能快速发展的今天，评估视频大语言模型（Video LLMs）的能力变得越来越重要。然而，当我们看到某个模型在视频理解测试中获得了高分时，这真的意味着它理解了视频中的动态内容吗？2025年5月，苹果公司的研究团队发表了一篇引人深思的论文，对现有的视频评测基准进行了深入分析，揭示了许多令人意外的发现。

这项由苹果公司的Bo Feng、Zhengfeng Lai、Shiyu Li、Zizhen Wang、Simon Wang、Ping Huang和Meng Cao共同完成的研究，发表于arXiv预印本平台（arXiv:2505.14321v1）。他们指出，现有的视频理解评测往往将知识型问题和纯图像型问题混为一谈，而没有明确地测试模型对视频独有的时序理解能力。

想象一下，如果你看一部电影，只看几个静止画面和看完整的动态影片是完全不同的体验。同样，真正的视频理解应该依赖于对画面序列变化的理解，而不仅仅是识别几个关键帧中的内容。然而，研究团队发现，许多所谓的"视频理解测试"实际上可以在不看视频的情况下回答，或者即使打乱视频帧的顺序也能得到正确答案！

这就像是给学生一个关于历史事件顺序的考试，却发现不管历史事件如何排列，学生都能答对——这显然无法测试学生对历史发展脉络的理解。研究团队针对这一问题，提出了一个名为VBenchComp的分析框架，它能自动将视频理解问题分为四类：语言模型可回答型（不需要看视频）、语义型（即使打乱视频帧也能回答）、时序型（必须理解正确的时间顺序）以及其他类型。

研究团队用这个框架分析了市面上流行的视频评测基准，发现了许多令人吃惊的结果。例如，在一些知名的视频问答基准中，高达30%的问题可以完全不看视频就能回答正确！这就像是一场"开卷考试"被当作了测试实际能力的"闭卷考试"，自然无法真实反映模型的视频理解能力。

让我们一起深入探索这项研究的发现，看看它如何帮助我们重新思考视频人工智能的评估方式，以及未来应该如何设计更好的评测基准。

一、视频大语言模型评测的现状与挑战

当前的视频大语言模型评测面临着两大关键挑战：计算资源消耗巨大和评测内容存在偏差。

想象一下，如果你需要测试一款新手机的性能，却发现测试过程要耗费数百小时并占用大量电力，这显然是不可持续的。视频模型评测也面临类似问题。研究团队统计发现，要在七个常用的视频问答基准上评测一个参数量为2B的Qwen2-VL模型，需要消耗190.6个A100 GPU小时！如果是更大的72B模型，这个数字会飙升至491.9小时。这相当于一台高性能计算机不间断工作20多天，消耗的电力足以供一个小型社区使用一天。

更令人担忧的是评测内容本身的问题。研究团队发现了两个主要缺陷：一是强语言先验偏差，二是对顺序打乱的不敏感性。

强语言先验偏差指的是模型可以不看视频，仅依靠问题中的文字信息就能回答正确。比如，当问到"奥运会游泳比赛中，哪个项目最年长的运动员获得了金牌？"这类问题，模型可能根据自身训练时获得的知识就能推测答案，根本不需要分析视频内容。这就像是在测试学生的历史知识，却没有检查他们是否真的看了指定的历史纪录片。

对顺序打乱的不敏感性则更加有趣。研究团队做了一个巧妙的实验：他们将视频的帧顺序完全打乱，然后再让模型回答问题。令人惊讶的是，对于很多问题，模型的表现几乎不受影响！这表明这些问题主要测试的是对静态内容的理解，而非视频独有的时序信息。就像给你看一部电影的所有场景截图，但完全打乱顺序，你仍然能说出电影中有什么人物和物体，但很难理解故事情节的发展脉络。

这些问题导致了一个严重的后果：现有的评测基准可能显著高估了模型的视频理解能力。一个在这些基准上得分很高的模型，可能实际上只是擅长静态图像识别和利用语言知识，而非真正理解视频的动态内容。这就像是评价一个人的游泳能力，却只测试他的理论知识和岸上动作，而不是真正让他下水游泳。

二、VBenchComp：一个新的分析框架

为了解决上述问题，研究团队提出了VBenchComp，这是一个自动化的分析框架，可以将视频问答基准中的问题分为四个不同类别。这个框架就像是一个分类系统，能够揭示每个问题真正在测试什么能力。

首先是"语言模型可回答型"问题。想象你问一个人"太阳系中最大的行星是什么？"，即使不看任何视频或图片，只要有基本知识，就能回答是"木星"。VBenchComp通过向GPT-4o和Gemini-1.5-Pro这样的大型语言模型提问（不提供视频）来识别这类问题。如果两个模型都能正确回答，那么这个问题就被归类为语言模型可回答型，意味着它主要测试的是语言知识而非视频理解能力。

第二类是"语义型"问题。这类问题即使视频帧顺序被打乱也能回答正确。比如"视频中的汽车仪表盘显示的速度是多少？"只需要看清某一帧中的速度显示，而不需要理解前后帧的关系。VBenchComp通过对视频帧进行随机打乱，然后观察模型回答是否保持一致来识别这类问题。

第三类是"时序型"问题，这才是真正测试视频理解的核心部分。例如"视频中物体是按什么顺序出现的？"或"人物先做了什么动作，然后做了什么？"。这类问题在视频帧被打乱后，模型的回答会显著改变。就像看一部剧情片，如果场景顺序被打乱，你就无法理解故事的发展。

最后，那些不属于前三类的问题被归为"其他"类别。这可能包括需要音频信息的问题，或者对当前技术而言过于复杂的问题。

研究团队用这个框架分析了七个广泛使用的视频问答基准，包括LongVideoBench、Egoschema、NextQA、VideoMME、MLVU、LVBench和PerceptionTest。结果令人震惊：在NextQA基准中，34.79%的问题属于语言模型可回答型，37.63%属于语义型，只有8.75%的问题真正测试了时序理解能力！这意味着超过70%的问题实际上没有测试真正的视频理解能力。

这就像是我们以为在评测一个人的游泳技术，但实际上70%的测试项目是关于服装选择和游泳池边站姿的知识，只有不到10%真正测试了水中的游泳能力。这显然不能全面反映一个人的游泳水平，同样，这些基准也不能真实反映模型的视频理解能力。

三、惊人的实验发现：没看视频也能答对？

研究团队进行了一系列实验，揭示了当前视频评测基准的局限性。这些实验结果就像是魔术师揭秘表演的秘密，让我们看到了台面下的真相。

在第一个实验中，研究人员尝试让语言模型（如GPT-4o和Gemini-1.5-Pro）在完全没有视频输入的情况下回答问题。结果发现，这些模型在VideoMME和NExT-QA这样的基准上，竟然能达到高达50%的准确率！这就像是一个从未看过足球比赛的人，却能猜对一半关于比赛细节的问题，显然不正常。

更令人吃惊的是，即使是开源的模型如PLLaVA-34B，也能在不看视频的情况下在VideoMME上达到37.0%的准确率。对于专门设计用来测试长视频理解的LongVideoBench，这些模型不看视频也能达到35%以上的准确率。

这些结果清晰地表明，很多所谓的"视频理解问题"实际上可以通过语言知识或常识推理来回答，根本不需要分析视频内容。就像问"足球场上有几名球员？"，即使不看比赛，有基本常识的人也知道是22名。

在第二个实验中，研究团队测试了视频帧打乱对模型表现的影响。他们选择了多种代表性的视频大语言模型，包括GPT-4o和Gemini-1.5-Pro这样的闭源模型，SlowFast-LLaVA这样的训练自由模型，PLLaVA这样的LoRA微调模型，以及LLaVA-OneVision这样的视频专门训练模型。

实验结果再次令人震惊：无论是大型闭源模型还是开源模型，它们的表现在视频帧被打乱后几乎没有变化！有时候，打乱帧顺序后模型的表现反而提高了。例如，Gemini-1.5-Pro在帧打乱后在EgoSchema上的得分更高，GPT-4o在NExT-QA上也是如此。

这就好比你把一部电影的场景完全打乱顺序放映，观众却仍然能准确回答关于电影内容的问题，甚至比正常放映时回答得更好——这显然说明这些问题主要测试的是对静态内容的理解，而非对情节发展的理解。

这些实验结果共同表明，当前的视频评测基准可能会产生误导性的结论。一个在这些基准上得分很高的模型，可能主要是因为它有强大的语言知识和静态图像理解能力，而非真正掌握了视频的时序理解能力。这就像用识别食材的能力来评价一个厨师，而不是看他实际烹饪出的菜肴品质。

四、用VBenchComp评测现有模型：揭示真相

当研究团队使用VBenchComp框架对现有的视频大语言模型进行评测时，他们发现了传统评分无法反映的细微差异。这就像是用高精度仪器重新测量运动员的成绩，揭示出了计时表无法捕捉的微小差距。

以Qwen2-VL-7B和LLaVA-Video-7B两个模型在Egoschema基准上的表现为例。从传统的总体得分来看，Qwen2-VL-7B略微领先（65.8%对61.8%）。但是，当我们使用VBenchComp分类后查看详细得分，真相浮出水面：Qwen2-VL-7B在语言模型可回答型问题上的表现明显优于LLaVA-Video-7B（85.0%对72.2%），而在语义问题上两者表现相似。然而，在最关键的时序型问题上，Qwen2-VL-7B反而落后于LLaVA-Video-7B（37.8%对46.7%）。

这表明Qwen2-VL-7B的总体优势主要来自其更强的语言模型能力，而非更好的视频理解能力。这就像两位运动员进行全能比赛，一位因为在理论知识环节的出色表现而获得总冠军，但在实际运动技能环节却表现不如对手。

在VideoMME基准上，情况则完全相反。LLaVA-Video-7B不仅在总体得分上领先（63.9%对60.6%），而且在视觉相关的两个维度上都表现更好：语义理解（82.0%对78.4%）和时序理解（42.6%对36.7%）。这表明LLaVA-Video-7B确实拥有更强的视觉和时序理解能力，而不仅仅是语言知识。

这些分析结果揭示了传统单一总分评价方式的局限性。就像一个学生的总分可能掩盖了他在某些关键科目上的不足，传统的视频理解评分也可能掩盖模型在时序理解等核心能力上的差距。只有通过VBenchComp这样的细粒度分析，我们才能发现这些关键差异，从而更好地指导下一代视频大语言模型的开发。

研究团队还基于上述分析，提出了一个简化的评测方法：VBenchComp分数。这个分数只考虑语义型和时序型问题，忽略那些语言模型可回答型和其他类型的问题。尽管这样减少了近50%的问题数量，但模型的排名与使用全部问题时几乎保持一致。这表明这些精选的问题足以保留基准的区分能力，同时大大减少了评测的计算成本。

这就像是从一套完整的考试中筛选出最具代表性的题目，既能准确反映学生的能力水平，又能节省考试时间和资源。这对于资源有限的研究团队和企业来说，无疑是一个实用的解决方案。

五、对未来视频理解评测的启示

这项研究不仅揭示了当前视频评测基准的问题，还为未来设计更好的评测提供了宝贵启示。就像医生不仅指出疾病，还提供治疗方案一样，研究团队不仅分析了问题，还提出了改进建议。

首先，未来的视频评测基准应该更加注重时序理解能力的测试。这意味着设计更多真正需要理解视频动态内容的问题，例如事件顺序、因果关系、状态变化等。这就像测试一个人的阅读理解能力，应该问"故事情节如何发展"，而不是"文章中提到了哪些人名"。

其次，评测基准应该减少对语言先验知识的依赖。问题应该设计成无法仅凭常识或背景知识回答，必须依靠视频内容才能得出正确答案。这就像设计一个化学实验考试，问题应该基于学生实际观察到的实验现象，而不是能从教科书中直接找到答案的理论知识。

第三，评测结果应该提供更细粒度的分析，而不仅仅是一个总分。像VBenchComp这样的框架可以帮助研究人员了解模型在不同类型问题上的表现，从而更有针对性地改进模型设计。这就像一份详细的健康报告，不仅告诉你整体健康状况，还详细列出各项指标，帮助你有针对性地改善。

最后，研究团队建议未来的视频评测应考虑计算效率。通过精心设计问题集，可以在减少计算资源消耗的同时，保持评测的区分能力。这就像设计一个简短但高效的体能测试，能在短时间内准确评估一个人的整体体能水平。

值得注意的是，VBenchComp虽然是一个强大的分析工具，但也有其局限性。它严重依赖GPT-4o和Gemini等大型语言模型的判断，这可能引入这些模型自身的偏见。此外，VBenchComp主要关注问答任务，如何将这一框架扩展到其他视频理解任务（如视频描述、检索或标注）仍是未来研究的重要方向。

六、结论：重新思考视频AI的评测方式

这项由苹果公司研究团队完成的工作，为我们重新思考视频AI的评测方式提供了重要启示。就像重新校准测量仪器一样，这项研究帮助我们看清了当前评测系统的盲点和偏差。

归根结底，真正的视频理解应该包括对动态内容的理解，而不仅仅是静态图像的识别或基于语言知识的推理。当前的评测基准在这方面存在明显不足，往往高估了模型的视频理解能力。VBenchComp框架通过将问题分为语言模型可回答型、语义型、时序型和其他类型，帮助我们更清晰地了解模型的真实能力。

这项研究的意义不仅在于揭示问题，更在于推动解决方案。通过提供一个更细致、更准确的评测框架，研究团队为开发更强大的视频理解模型铺平了道路。未来的视频大语言模型不应只专注于提高总体得分，而应该更加重视时序理解能力的提升。

对于普通用户来说，这项研究提醒我们在使用视频AI工具时保持理性判断。当AI助手声称能"理解"视频内容时，它可能主要是在识别视频中的静态元素和利用语言知识进行推理，而非真正理解视频的动态内容。

最后，这项研究也启示我们，技术评估需要不断进化和完善。随着AI技术的飞速发展，我们的评测方法也需要持续更新，才能准确反映技术的真实水平。就像体育比赛规则会随着运动员水平的提高而调整一样，AI评测基准也需要随着技术进步而升级。

未来，我们可以期待看到更多像VBenchComp这样的创新评测框架，帮助我们更准确地了解AI系统的能力和局限，从而推动AI技术朝着更有意义的方向发展。

想深入了解这项研究的读者，可以通过arXiv:2505.14321v1查阅完整论文。