上海人工智能实验室开发VRBench：首个专门评估AI看长视频推理能力的测试平台

想象一下，如果你要测试一个朋友是否真的理解了一部两小时的电影，你会怎么做？你可能会问他一些需要前后串联思考的问题，比如"为什么主角最后选择原谅了反派？"这样的问题需要他回忆电影开头的铺垫、中间的转折，以及最后的情感升华。现在，人工智能领域也面临着类似的挑战——如何测试AI是否真的能像人类一样理解长视频中的复杂故事情节？

这项由上海人工智能实验室、南京大学和中科院深圳先进技术研究院联合完成的研究，于2025年6月发表，为我们带来了全球首个专门测试AI长视频推理能力的评估平台——VRBench。这就像是给AI设计了一套"电影理解能力考试"，不仅要看AI能否看懂单个画面，更要测试它能否像侦探一样，将分散在整部影片中的线索串联起来，推理出复杂的因果关系。

在当今这个视频内容爆炸的时代，我们每天都在观看各种视频，从短视频到长电影，从纪录片到体育赛事。而AI技术也在快速发展，许多AI模型已经能够理解图片和短视频，但当面对需要长时间跨度推理的复杂视频时，它们往往表现得像是患了"健忘症"的观众——能看懂眼前的情节，却难以将前后内容有机结合进行深度思考。

这项研究的重要性就在于此。研究团队发现，现有的AI评估方法就像是只测试学生能否认字，却不测试他们能否理解整篇文章的含义。大多数现有评估平台要么专注于单纯的视觉识别（比如"画面中有几个人？"），要么只测试需要特定领域知识的问题（比如数学或科学），而忽略了一个关键能力：基于故事情节进行多步骤推理。

VRBench的诞生填补了这个重要空白。它包含了1010个精心筛选的长视频，平均时长达到1.6小时，涵盖8种不同语言和7种视频类型，从电影到体育赛事，从游戏解说到旅行日志。研究团队还为这些视频标注了9468个需要多步推理的问答对，以及超过30000个详细的推理步骤。这就像是为AI准备了一个包含上千部电影的"理解力测试库"，每部电影都配有8-10个需要深度思考的问题。

一、建立AI的"电影理解力考试"——VRBench的创新设计

想象你要为朋友设计一套测试，来检验他们是否真的看懂了一部复杂的悬疑电影。你不会问"主角穿什么颜色的衣服"这样简单的观察题，而会问"为什么主角在第二幕做出了那个关键决定？"这样的问题需要观众记住开头的铺垫，理解中间的转折，并将这些信息串联起来进行推理。

VRBench正是基于这样的思路设计的。与传统的AI评估方法不同，VRBench不满足于测试AI能否识别画面中的物体或人物，而是要测试AI能否像一个优秀的影评人一样，深度理解视频中的故事逻辑和人物动机。

研究团队首先面临的挑战是如何收集合适的测试材料。他们从YouTube上收集了超过10000个公开视频，但并非所有视频都适合用来测试推理能力。就像选择考试题目一样，他们需要的是那些情节丰富、逻辑清晰的"好故事"。经过多轮筛选，他们最终选定了1010个高质量的叙事性视频。

这些视频有个特别之处：它们都不是英文或中文的。这个选择看似奇怪，实际上非常聪明。研究团队解释说，现有的AI评估大多偏向英文和中文内容，这可能让AI在某种程度上"作弊"——依赖于在训练时见过的类似内容，而不是真正理解视频逻辑。选择其他语言的视频，就像给学生一份全新的考试题目，能更公正地测试他们的真实理解能力。

为了确保视频质量，研究团队组织了14位多语言专家，像电影评委一样对每个候选视频进行10分制评分。他们主要考察两个标准：情节的连贯性和内容的丰富性。只有得分7分以上的视频才能入选最终的测试集。这就像是为考试精选最具代表性的题目，确保每道题都能有效测试学生的能力。

在视频类型的选择上，研究团队涵盖了七个主要类别。电影和动画片自然是重头戏，因为它们通常具有完整的故事情节和复杂的人物关系。体育视频也被纳入其中，因为体育比赛虽然没有传统意义上的"剧情"，但包含丰富的战术变化和因果关系——比如一个关键的失误如何导致比赛局势的彻底逆转。

游戏视频同样具有很强的叙事性，特别是那些策略类游戏，玩家的每个决策都会影响后续发展。旅行和生活类视频看似简单，但实际上蕴含着丰富的时间线索和因果关系——比如为什么博主选择在某个特定时间前往某地，这个决定如何影响了整个旅程的安排。

二、像制作精密食谱一样设计推理问题

如果说选择合适的视频是找到好的"食材"，那么设计推理问题就像是制作一道需要多个步骤的复杂菜肴。每个问题都需要AI像厨师一样，按照特定顺序处理不同的"食材"（视频片段），最终"烹饪"出正确的答案。

研究团队开发了一个人机协作的标注系统。首先，他们使用AI工具对视频进行初步分析，将长视频切分成若干片段，为每个片段生成描述，并将音频内容转换成文字。然后，他们让GPT-4o基于这些信息生成6个初步的问答对。但这只是第一步，就像是先用食品加工机做基础处理，真正的精细工作还需要人工完成。

接下来，67名经过专门培训的研究生接手了标注工作。他们的任务是基于AI生成的初步问答对，为每个视频制作8-10个高质量的推理问题。这就像是专业厨师根据食谱进行精细调整，确保每道菜都达到餐厅的标准。

这些推理问题被分为七种类型，每种都测试AI的不同推理能力。事件预测类问题就像是让AI成为"故事预言家"，根据已经发生的情节预测后续发展。假设推理类问题则给AI一个假设条件，让它推断可能的结果——比如"如果主角当时做了不同的选择，会发生什么？"

事件归因类问题让AI扮演"故事侦探"的角色，分析某个事件发生的原因。比如观看一部电影后，AI需要解释为什么某个角色做出了特定决定，这需要它回溯整个故事线，找到相关的铺垫和动机。

隐性推理类问题最具挑战性，它要求AI读懂"弦外之音"。就像人类观众能从角色的表情和行为中感受到未明言的情感变化，AI也需要具备这种微妙的理解能力。信息综合类问题则测试AI的"整理归纳"能力，要求它将散布在整个视频中的信息进行汇总。

逻辑联系类问题考验AI建立因果关系的能力。这就像拼图一样，AI需要找到看似不相关的两个事件之间的逻辑联系。最后，计数问题虽然看起来简单，但在长视频中往往需要AI保持长时间的注意力，追踪某个元素在整个视频中的变化。

为了确保问题质量，研究团队设立了严格的标准。每个问题都必须包含至少2个推理步骤，并且需要为每个步骤标注准确的时间戳。这就像是为食谱标注每个步骤的具体时间和温度，确保任何人都能准确复制。

特别值得一提的是，研究团队还设计了时间分布要求。他们要求每个视频的问题要覆盖不同的时间段：0-15分钟段最多4个问题，15-40分钟段至少3个问题，40分钟以上至少1个问题。这确保了AI不能只关注视频开头或结尾，而必须对整个视频保持理解。

三、创新的"双重检验"评估方法

传统的AI测试就像只看学生的期末考试成绩，而VRBench采用了一种更全面的评估方法，既看"结果"也看"过程"。这就像是数学老师不仅要看学生算出的答案是否正确，还要检查解题步骤是否合理。

在结果层面的评估相对直观，采用多选题的形式。AI需要从四个选项中选择正确答案，这测试的是它的最终理解结果。但仅有这个还不够，因为AI可能通过"运气"或者简单的模式匹配得到正确答案，而没有真正理解视频内容。

因此，研究团队引入了过程层面的评估，要求AI不仅给出答案，还要详细说明推理过程。这就像是要求学生不仅写出"x=5"这个答案，还要展示"先移项，再合并同类项，最后除以系数"的完整解题过程。

为了评判推理过程的质量，研究团队开发了一个基于AI的评分系统。这个系统从四个维度评估AI的推理过程：逻辑连贯性、与标准答案的相似度、事实准确性和表达清晰度。就像是聘请了一位严格的老师，从多个角度给学生的答题过程打分。

逻辑连贯性检查推理链条是否环环相扣，没有跳跃或矛盾。与标准答案的相似度衡量AI的思路是否与人类专家的思路相近。事实准确性确保AI没有编造不存在的情节或人物。表达清晰度则检查AI是否能用清晰明了的语言阐述自己的推理过程。

有趣的是，研究团队发现不同类型的问题需要不同的评分策略。对于事件预测和假设推理类问题，由于可能存在多种合理的答案，他们去掉了"与标准答案相似度"这一评分项，重新调整权重。这就像是对开放性作文题采用更灵活的评分标准。

为了验证这个评分系统的可靠性，研究团队进行了人机对比实验。他们让人类专家对同一批AI回答进行评分，然后对比人类评分和AI评分的一致性。结果显示，在多个评分维度上，人机评分的相关性都超过了0.8，这说明AI评分系统能够较好地模拟人类专家的判断标准。

四、现有AI模型的"体检报告"

当VRBench这个"考试"准备就绪后，研究团队邀请了28个不同的AI模型来参加测试，包括12个纯文本模型和16个视频理解模型。这就像是给不同年级的学生安排了同一场考试，看看他们的真实水平如何。

结果令人既惊喜又担忧。在结果准确性方面，最强的模型是谷歌的Gemini-2.0-Pro，达到了76.61%的准确率。这就像是班里的优等生，大部分题目都能答对。紧随其后的是OpenAI的GPT-4o和Claude-3.7-Sonnet，准确率都在70%以上。

但是，当研究团队检查这些模型的推理过程时，发现了一个有趣的现象：许多模型虽然能给出正确答案，但推理过程却存在问题。比如GPT-4o虽然有83.25%的答题准确率，但推理过程评分只有58.1%。这就像是学生虽然算出了正确答案，但解题过程漏洞百出，可能存在蒙对的情况。

在不同类型的推理任务中，AI模型表现出明显的偏好性。大多数模型在事件预测和信息综合方面表现较好，这些任务相对直观，类似于"根据剧情发展猜测结局"或"总结故事主要内容"。但在计数问题上，几乎所有模型都表现糟糕，准确率接近随机猜测的水平。

这个现象很好理解。计数问题需要AI在长达数小时的视频中保持持续注意力，准确追踪特定对象的出现次数。这就像是要求观众在看一部两小时的电影时，从头到尾数清某个配角总共出现了几次，这对AI来说是极大的挑战。

研究团队还发现了AI模型架构对性能的重要影响。那些专门设计用于推理的"System-2"模型（如OpenAI的o1系列）在推理过程评分上明显优于传统模型，但在最终答案准确性上提升有限。这说明这些模型确实在"思考"方面有所改进，但将复杂思考转化为正确答案的能力还有待提升。

长上下文支持能力也被证明是关键因素。那些能够处理更多视频帧的模型往往表现更好。比如Gemini-2.0-Pro能够以0.5帧每秒的密度处理整个视频，远超其他模型的32-128帧固定输入限制。这就像是给学生更多时间仔细阅读考试材料，自然能更好地理解和分析。

五、参数规模与推理能力的复杂关系

一个直观的假设是，更大的模型应该具有更强的推理能力，就像更有经验的学生通常考试成绩更好。VRBench的测试结果部分印证了这个假设，但也揭示了一些意外发现。

在同系列模型的对比中，规模优势确实明显。比如Qwen2.5系列中，72B参数的模型比7B参数的模型表现好5.48个百分点。InternVL2.5系列中，78B参数模型比8B参数模型高出近10个百分点。这符合我们的常理认知——更大的"大脑"通常意味着更强的理解和推理能力。

但是，一个有趣的例外出现了。QwQ-32B模型虽然参数量相对较小，但通过专门的推理训练，它在某些方面的表现竟然接近甚至超过了参数量更大的通用模型。这就像是一个专门训练逻辑思维的学生，在数学竞赛中可能比知识面更广但缺乏专门训练的学生表现更好。

这个发现对AI发展具有重要启示：并非单纯增加模型规模就能提升推理能力，训练方法和数据质量可能同样重要。研究团队观察到，那些在推理相关数据上进行过专门训练的模型，往往在推理过程评分上表现更好，即使它们的最终答案准确率可能不是最高的。

另一个值得注意的现象是开源模型与闭源模型之间的差距。总体而言，商业公司开发的闭源模型（如GPT-4o、Gemini-2.0-Pro、Claude-3.7-Sonnet）在各项指标上都明显领先于开源模型。最强的开源模型InternVL2.5-78B的整体表现为66.10%，而最强闭源模型Gemini-2.0-Pro达到了76.61%，差距超过10个百分点。

这种差距可能反映了几个方面的现实：商业公司拥有更多计算资源进行大规模训练，更丰富的高质量训练数据，以及更精细的模型优化技术。同时，这些闭源模型可能还使用了一些未公开的技术改进。

六、测试时计算量的神奇效果

传统上，AI模型的能力被认为主要由训练阶段决定，就像学生的水平主要由平时学习决定一样。但VRBench的实验揭示了一个有趣现象：给AI模型更多"思考时间"，也就是更多的计算资源，可以显著提升它们的推理表现。

研究团队设计了一个巧妙的实验，他们给同一个模型设置不同的"思考时间"限制，从256个tokens（相当于简短回答）到2048个tokens（相当于详细说明），观察模型表现如何变化。

结果令人印象深刻：QwQ-32B模型在token限制从低到高的过程中，整体得分从48.91%跃升到61.34%，提升了超过12个百分点。这就像是给学生从"必须在5分钟内完成"改为"可以思考30分钟再作答"，成绩有了显著提升。

更有趣的是，这种"慢思考"的效果在不同类型的模型上表现截然不同。专门训练用于推理的System-2模型（如QwQ）能够很好地利用额外的计算时间，产生更高质量的推理过程和更准确的答案。而传统的System-1模型在给予更多思考时间时，表现反而可能下降——它们容易产生冗长但质量不高的输出，甚至可能在长时间思考中"迷失方向"。

这个发现对AI发展具有重要意义。它表明，提升AI推理能力不仅可以通过增加模型规模或改进训练方法，还可以通过优化推理时的计算分配来实现。这开辟了一个新的优化方向：设计能够有效利用测试时计算资源的AI系统。

七、文本模型与视频模型的意外对决

VRBench测试中最令人意外的发现之一，是纯文本模型与视频理解模型之间的竞争结果。按照常理，处理视频内容应该是视频理解模型的专长，就像让专业的电影评论家与只读过剧本的文学评论家比较对电影的理解能力。

为了让纯文本模型也能参与视频理解测试，研究团队开发了一个"视频到文本"的转换系统。他们使用Qwen2.5-72B模型将视频内容转换成详细的文字描述，包括视觉场景、人物动作、对话内容等。这就像是为盲人朋友详细描述电影内容，让他们也能理解故事情节。

令人惊讶的是，一些优秀的纯文本模型在这种设置下表现出色。比如Gemini-2.0-Flash-Thinking在纯文本模式下达到了63.79%的综合得分，甚至超过了许多专门的视频理解模型。这就像是那位只读剧本的文学评论家，竟然比看过完整电影的评论家更好地理解了故事的深层含义。

这个现象揭示了一个重要事实：对于需要复杂推理的任务，高质量的文本描述可能比原始视频信号更有效。视频包含大量冗余信息，如背景细节、视觉特效等，这些信息虽然丰富了观影体验，但对理解核心情节可能并非必需。相反，经过精心整理的文本描述能够突出关键信息，降低推理难度。

但这并不意味着视觉信息不重要。研究团队发现，那些在视觉细节上依赖性较强的问题，如计数问题，纯文本模型的表现明显不如视频模型。这类问题需要精确的视觉观察，文字描述很难完全替代原始视频信息。

更重要的是，能够有效利用长时间视频信息的模型表现最好。Gemini-2.0-Pro通过高密度的帧采样（0.5fps）获得了最佳性能，这说明详细的视觉信息确实有助于理解复杂的视频内容，关键在于模型能否有效处理和利用这些信息。

八、推理类型难度的层次分布

通过对七种不同推理类型的详细分析，VRBench揭示了AI在不同思维任务上的能力分布，就像一份详细的"智力体检报告"。

最容易的推理类型是信息综合，大多数模型在这类任务上表现相对较好。这类问题要求AI对视频内容进行概括和总结，类似于"用简短的语言描述这个故事的主要情节"。这种任务虽然需要理解整个视频，但不要求复杂的逻辑推导，更多依赖的是信息整合能力。

事件预测和逻辑联系类问题难度中等。事件预测要求AI根据已有情节推测后续发展，这需要一定的创造性思维和对故事逻辑的理解。逻辑联系类问题要求AI找到看似不相关事件之间的因果关系，这测试的是AI的分析和推理能力。

假设推理类问题具有特殊性。由于这类问题往往没有标准答案（因为假设情况在视频中并未实际发生），AI的表现分化较大。一些模型能够基于已有信息进行合理推测，而另一些模型则可能给出过于天马行空或逻辑不严密的答案。

隐性推理类问题挑战性较高。这类问题要求AI理解"弦外之音"，比如从角色的表情和行为推断其内心想法，或者理解某种未明说的情感氛围。这需要AI具备类似人类的情感理解能力和社会认知能力，这对目前的技术来说仍然困难。

事件归因类问题在不同模型上表现差异巨大。优秀的模型能够准确分析事件的前因后果，而表现较差的模型可能给出过于简化或错误的因果关系。这反映了不同模型在因果推理能力上的显著差异。

最困难的是计数问题。几乎所有模型在这类任务上的表现都接近随机水平，很多时候准确率只有20-30%。这类问题虽然看似简单，但需要AI在长时间视频中保持精确的注意力，追踪特定对象的出现和变化，这对现有技术来说是极大挑战。

九、AI推理的"诚实度"问题

VRBench的双重评估机制揭示了一个令人深思的现象：许多AI模型存在"答对题目但推理过程有问题"的情况，就像学生虽然算出了正确答案，但解题过程却漏洞百出。

这种现象在多个顶级模型中都有体现。GPT-4o在多选题准确率上达到83.25%，但推理过程得分只有58.1%。Claude-3.7-Sonnet也表现出类似模式：答案准确率82.10%，推理得分58.23%。这种差异揭示了当前AI系统的一个根本性问题：它们可能通过某种"快捷方式"或模式匹配得到正确答案，而非通过严谨的逻辑推理。

具体分析这些有问题的推理过程，研究团队发现了几种典型错误模式。有些AI会给出看似合理但实际错误的因果关系，比如将时间上的先后关系误认为因果关系。还有些AI会在推理中插入视频中并不存在的信息，或者对某些细节进行过度解读。

最常见的问题是推理链条的跳跃。AI可能从前提A直接跳到结论C，而忽略了中间的关键步骤B。这就像是在数学证明中省略了重要的中间步骤，虽然最终答案可能正确，但推理过程不够严谨。

有趣的是，那些专门针对推理能力训练的System-2模型在这方面表现明显更好。虽然它们的最终答案准确率可能不是最高的，但推理过程的质量明显更高。这说明通过专门的训练确实可以改善AI的推理"诚实度"。

这个发现对AI安全和可靠性具有重要意义。如果AI系统能够给出正确答案但推理过程存在问题，那么当面对训练数据中未见过的新情况时，这些系统的表现可能会急剧下降。更重要的是，在需要高度可靠性的应用场景中（如医疗诊断或法律分析），推理过程的透明性和正确性可能比最终答案同样重要。

十、语言和文化多样性的意外收获

VRBench在设计时特意选择了非英文、非中文的视频内容，这个看似"刁难"AI的决定却带来了意外的研究价值。通过涵盖泰语、阿拉伯语、韩语、俄语、塞尔维亚语、匈牙利语和越南语等8种语言的内容，VRBench为AI跨文化理解能力提供了珍贵的测试环境。

研究结果显示，不同AI模型在处理这些多语言内容时表现出明显差异。一些在英文内容上表现优秀的模型，在面对其他语言的视频时可能出现理解偏差。这并非因为语言障碍（因为所有视频都配有英文翻译字幕），而是因为不同文化背景下的叙事方式、情感表达和社会背景存在差异。

比如，亚洲文化中的含蓄表达方式可能让AI难以理解某些隐性的情感变化。中东地区的传统故事结构可能与AI训练时见过的西方叙事模式不同。这些文化差异就像是给AI设置了额外的理解门槛，测试它们的适应性和通用性。

有趣的是，一些模型在处理特定文化背景的内容时表现出意外的优势。研究团队推测，这可能反映了这些模型训练数据的多样性，或者某些推理模式在跨文化环境中具有更好的通用性。

这个发现提醒我们，真正的AI通用性不仅体现在技术能力上，还体现在文化适应性上。随着AI系统在全球范围内的应用，理解和适应不同文化背景下的思维方式和表达习惯将变得越来越重要。

VRBench的多语言设计也为研究AI的文化偏见提供了宝贵平台。通过比较AI在不同文化背景内容上的表现差异，研究者可以识别和改善潜在的文化偏见问题，推动更加公平和包容的AI系统发展。

说到底，VRBench的出现标志着AI评估进入了一个新时代。就像从测试学生能否认字进化到测试他们能否理解文学作品一样，AI评估也从简单的感知测试进化到复杂的推理理解测试。这项研究不仅为我们提供了一个强大的AI能力测试工具，更重要的是，它揭示了当前AI技术的真实状况和未来发展方向。

通过VRBench，我们看到现有的AI模型虽然在某些方面已经达到了令人印象深刻的水平，但在需要深度推理和长时间理解的任务上仍有很大提升空间。特别是推理过程的"诚实度"问题，提醒我们不能仅仅满足于AI给出正确答案，还要确保它们的思考过程是可靠和透明的。

这项研究的价值不仅在于发现了问题，更在于为解决问题指明了方向。通过专门的推理训练、更好的长上下文处理能力、以及测试时计算资源的优化配置，我们有望开发出真正具备人类级别视频理解和推理能力的AI系统。

对于普通人来说，VRBench的影响可能会在未来几年逐步显现。更强的视频理解AI将能够更好地帮助我们处理日常生活中的视频内容，从自动生成电影评论到协助视频编辑，从智能监控分析到个性化内容推荐。但更重要的是，这项研究推动的AI推理能力提升，将使AI在医疗诊断、法律分析、科学研究等需要复杂推理的关键领域发挥更大作用。

随着VRBench这样的评估工具的普及和完善，我们有理由相信，AI理解复杂视频内容的能力将快速提升，最终达到甚至超越人类的水平。那时，AI将不再是简单的工具，而是真正的智能伙伴，能够与我们一起思考、分析和理解这个复杂而精彩的视觉世界。