VideoJev：让AI看视频时，别再一句一句地"想"答案

你有没有用过那种需要等很久才能回复的智能助手？

你问它一个关于视频的问题，它要"思考"十几秒甚至几分钟，屏幕上跳出一行行文字，仿佛在自言自语地推理，最后才给你一个答案。如果你接着问第二个问题，它又得从头再想一遍，哪怕这个问题和刚才问的其实是同一段视频。

这事儿在做视频理解的AI系统里特别常见。现在主流的视频大模型，不管是回答"视频里几点钟发生了什么"，还是"刚才那个人拿起的是什么东西"，都习惯用一种叫做自回归生成的方式来给答案。

自回归生成：AI回答问题时，一个字一个字往外蹦，每蹦一个字都要把前面已经蹦出来的字重新读一遍，才能决定下一个字是什么。

这种方式有个问题。你让一个AI模型去定位视频里"人物开始跑步"的具体时间段，它得先生成"从"这个字，再生成"12"，再生成"秒"，再生成"到"……一个时间戳可能要吐出十几个token才能拼完整。如果这个视频有一小时长，AI还得在吐字的过程中不断回看之前看过的所有画面，速度自然慢得让人没耐心。

更麻烦的是，很多视频应用场景根本不是"问一个问题就结束"的。想象一个跟着你做饭的智能助手，它得不断确认你有没有放盐、有没有打蛋、火候对不对，这些判断背后其实是对同一段视频反复发起的提问。如果每次提问都要把视频重新理解一遍，那这个助手可能做完一道菜都没能跟上你的节奏。

这就是这篇论文要解决的事情。来自南京大学、京东、中科院、清华等机构的研究者们，联合提出了一个叫VideoJev的模型家族，它的核心想法说起来挺朴素：别再让AI把答案一个字一个字"写"出来，让它直接给每个候选答案打分，谁分高就选谁。

这件事听起来简单，但做起来牵涉到不少巧妙的设计。我们一个一个来看。

问题到底难在哪里

先说清楚这个领域此前的处境。

视频理解任务主要分两大类。第一类叫时序定位，就是给AI一段话比如"巧克力是什么时候加到华夫饼上的"，让它在整段视频里找到对应的时间区间。第二类叫视频问答，通常是选择题形式，比如"视频里浇在华夫饼上的是什么"，给出几个选项让AI选。

时序定位：在视频里找到某个事件发生的具体时间段，输出类似"11秒到19秒"这样的区间。

传统做法里，这两类任务用的几乎是完全不同的技术路线。做时序定位的模型往往是专门训练出来的，只认识时间戳这一种输出格式，碰到别的任务就歇菜了。而通用的多模态大语言模型虽然什么都能聊，但处理这两类任务时都是靠生成文字来完成的，效率不高，而且生成出来的时间戳或者选项字母，经常还需要额外写代码去解析提取，万一格式不对还得算失败。

论文里给出的数据能说明问题的严重性。拿Qwen3.5-4B这个基准模型来说，它在Thinking模式（也就是打开推理链条，一步步想明白再回答）下处理LVBench这个长视频问答基准时，平均每道题要花144.9秒，接近两分半钟。而同样的模型换成不思考直接回答的Instruct模式，虽然只要1.355秒，但准确率从66.4%掉到了60%，掉了6.4个百分点。

这就是一个两难的局面：要么慢但准，要么快但不准。研究者们想问的是，能不能既快又准？

候选打分：把选择题和填空题变成同一种题型

VideoJev给出的答案，是把时序定位和视频问答这两件事，统一成了同一种操作：给候选项打分。

具体怎么做的？论文的设计是这样的。模型先把整段视频编码成一串视觉token，然后把这些token放在输入的最前面，后面跟着任务说明、问题，再跟着一串候选答案。

如果是时序定位任务，候选答案就是一堆时间戳，模型会把一整段视频按照固定的间隔切成很多小区间，每个区间对应一对相邻帧。模型要判断的是，这个区间是不是属于问题里描述的事件。

如果是视频问答任务，候选答案就是选项ABCD的文字内容，模型要判断的是，哪个选项最符合视频内容。

每个候选项后面会跟一个特殊标记叫<|option_end|>，相当于告诉模型"这个候选选项说完了"。整个候选列表的最后再加一个<|decide|>标记，代表"现在该做决定了"。

这两个标记都不是随便加的，它们各自对应一个向量表示，分别叫决定态和候选态。模型会把这两种向量投影到一个共同的512维空间里，再做归一化，然后用向量点积算出一个相似度分数，这个分数就是候选项的得分。

候选打分：不让AI生成文字答案，而是让AI对每个可能的答案（不管是时间区间还是选项文字）计算一个分数，分数代表这个答案有多靠谱。时序定位用sigmoid函数把分数变成0到1之间的概率，表示"这个时间段属于事件"的可能性；视频问答用softmax函数让所有选项的概率加起来等于1，直接选概率最高的那个。

这里有个细节值得说一下。论文提到，他们去掉了语言模型输出头前面的最后一层MLP（多层感知机，一种常见的神经网络变换层），直接用MLP之前的特征去做打分。这个做法背后的依据，是此前一项叫FreeRet的工作发现，MLP之前的特征更适合做语义相似度计算。VideoJev的消融实验也验证了这一点：去掉最后的MLP之后，时序定位和问答的平均得分反而各提升了0.2个点，说明这层变换不但没用，还有点多余。

这种设计让我想到一个很贴切的场景。你去买西瓜，有两种挑选方式。一种是让摊主一个个给你介绍，这个瓜甜不甜、那个瓜熟不熟，你听完所有介绍才能做决定，耗时又啰嗦。另一种是摊主直接把瓜摆一排，每个瓜上挂个"甜度评分"的牌子，你扫一眼分数最高的那个直接拿走。

如果继续用第一种"听介绍"的方式，相当于让AI每次回答都得把答案的文字一个字一个字拼出来，就像摊主要把每个瓜的甜度用长篇大论描述一遍。而"挂分数牌"的方式，让AI只需要对已经列好的候选项做一次直接判断，不需要拼凑文字，自然就快了。但这也意味着，候选项必须事先列好，不能像自由问答那样让AI随便发挥，这正是候选打分这套方案的代价：它牺牲了开放式生成的灵活性，换来了结构化决策的效率。

缓存推理和联合推理：让同一段视频别被重复理解

光是把答案变成打分还不够，因为视频理解这件事还有一个特点：同一段视频经常要被反复提问。

VideoJev针对这个场景设计了两种推理模式。

第一种叫缓存推理。核心思路是，视频只编码一次，缓存下来。之后不管来多少个新问题，都直接从这个缓存出发，各自走一遍模型的前向计算，互不干扰。

缓存推理：把视频理解这个最耗时的步骤只做一次，后面每个新问题都"借用"这份理解结果，不用重新看一遍视频。

第二种叫联合推理。如果好几个问题是同时到达的，VideoJev会把它们排在同一个视频前缀后面，一次性走完模型的前向计算，所有问题的答案同时得出。由于语言模型本身是因果结构的，也就是后面的内容能看到前面的内容但反过来不行，所以排在后面的问题理论上能"看到"前面问题的文字，但论文强调，他们没有在训练或推理时插入任何参考答案或预测答案，确保后面的问题不会从前面的答案里偷窥到提示。

联合推理：把多个关于同一段视频的问题打包在一起，一次前向计算就能算出所有问题的答案，而不是一个问题跑一次。

这两种模式的差别，有点像厨房里准备食材的两种方式。缓存推理像是厨师把高汤提前熬好放在锅里，谁要做菜就舀一勺出去单独炒，互不耽误，但每道菜还是得单独开火。联合推理则更像流水线作业，高汤熬好后，厨师把今晚要做的五道菜一次性下锅，同时出餐。如果不用联合推理，而是坚持一道菜一道菜单独处理，那么即便高汤是共享的，每道菜单独走一次火的时间加起来，总还是比流水线慢。实验数据证实了这一点：在Charades数据集上处理十个问题，VideoJev-4B用联合推理只要0.39秒，换成缓存推理要0.85秒，差了一倍还多。

更让人意外的是，联合推理不仅快，质量居然还更好了一点。论文的消融实验显示，在14组模型与基准的对比里，有13组联合推理的得分比缓存推理更高，比如4B模型的时序定位平均mIoU从64.5提升到65.3，问答平均分从73.8提升到74.3。研究者的解释是，训练阶段本来就是用同样的联合布局来节省计算资源的，所以模型其实"习惯"了这种问题之间互相能看到的场景，推理时自然发挥得更好。

mIoU：全称平均交并比，衡量AI预测的时间区间和真实标注区间重合程度的指标，数值越高说明定位越准。

时序定位怎么学会"覆盖整个事件"

打分这件事说起来容易，但时序定位有个特殊的难点：一个事件往往横跨好几个候选区间，不是打中一个点就算完事，而是要把整段都覆盖到。

VideoJev用了两种互补的监督信号来训练这个能力。

第一种是局部的成员关系判断，用的是多标签二元交叉熵损失。简单说，就是让模型判断每个候选区间的中心时间点是不是落在标注的事件范围内，是就标1，不是就标0，一个一个独立判断。

第二种是整体覆盖度的软IoU损失。这个损失函数的分子是奖励模型覆盖到事件的部分，分母是惩罚模型预测跑到事件范围之外的部分，还按区间长短做了加权，避免长短不一的区间互相干扰。

论文的消融实验显示，加上软IoU损失之后，4B模型的时序定位平均mIoU从60.7跳到65.3，提升了4.6个点，三个基准测试全部变好。

这个设计思路让我想起找钥匙的经历。如果你只按"这个地方有没有钥匙"逐个房间去问，哪怕每个房间的判断都对，你最后拼出来的"钥匙可能在的区域"也可能七零八落，一会儿这间屋子，一会儿那间屋子，中间漏掉了走廊。但如果你还多了一条规则，"找到的区域要尽量连成一片，而且别把不相关的房间也算进去"，那拼出来的范围就会更贴合真实情况。软IoU损失起的就是这个作用，它不满足于"每个点判断准确"，还要求"整体拼起来要像一个完整的事件"。

得到候选区间的打分之后，VideoJev用了一种叫Kadane算法的经典算法来快速找出连续和最大的那一段区间，这个算法原本是用来解决"最大子数组和"问题的，这里被巧妙地用在了找最优时间段上，计算复杂度是线性的，意味着不管候选区间有多少个，耗时都是可控的。

视频问答怎么避免"选项位置偏见"

视频问答这边，VideoJev的训练方式相对直接：用交叉熵损失，让正确选项的概率尽量接近1。

不过这里有个容易被忽略的陷阱。如果训练数据里正确答案总是出现在某个固定位置，比如老是在A选项，那模型很可能学会一个偷懒的技巧：不管题目问什么，先猜A。这种现象叫位置偏见。

位置偏见：模型没有真正理解问题内容，而是通过选项排列的规律性来"蒙对"答案，这种能力在真实场景里是脆弱的。

为了避免这个问题，VideoJev在训练时对每道题的选项做了一次可复现的、和答案无关的随机打乱，同时更新正确答案对应的索引。但如果题目本身涉及"选项的位置"这种措辞，比如"前面提到的第二个选项是什么"，那就保留原始顺序，不打乱，避免打乱后题意变得前后矛盾。

这种处理方式其实很像考试出题的经验。一个负责任的出题老师，不会把正确答案总放在C选项，因为学生很快就会摸清规律，蒙题准确率飙升但真实水平根本没有提高。VideoJev做的就是这件事：打乱选项顺序，逼着模型靠理解内容而不是靠位置规律来答题。如果不做这个打乱，模型在训练集上的表现可能好看，但换到真实场景里，正确答案位置是随机的，这种虚假的能力立刻露馅。

训练怎么分两步走

VideoJev用了两阶段训练策略，灵感来自多模态大模型里常见的"投影器对齐"思路。

第一阶段只训练新加的打分头，语言模型主干和新增的标记嵌入全部冻结，只用30%的训练视频，让打分头先在一个稳定的特征空间里学会基本的判断能力。

第二阶段才开始训练语言模型主干本身，连同打分头一起在剩下70%的视频上继续优化，这时候时序定位任务加上了软IoU损失。

论文的消融实验对比了两阶段训练和一次性单阶段训练（直接用全部数据训练），发现两者整体表现其实相差不大，单阶段训练在时序定位平均mIoU上高0.1个点，在问答平均分上高0.4个点，主要是MLVU这个基准贡献的差异。但两阶段训练的优势在于成本更低，因为只有70%的视频需要更新整个语言模型主干，另外30%用更便宜的只训练打分头的方式搞定。

这种权衡挺像装修房子前先做效果图。你不会一上来就直接动工改水电，而是先出一版设计草图，和业主确认大致方向没问题了，再投入真正昂贵的施工。两阶段训练里，第一阶段冻结主干只训练打分头，就是在做这个"低成本的草图确认"，等打分头学会了基本规则，再放开主干一起精调，减少了无谓的返工。

实验结果说了什么

论文在三个时序定位基准（Charades-STA、ActivityNet Captions、QVHighlights的精修版标注）和四个视频问答基准（LVBench、Video-MME、LongVideoBench、MLVU）上做了测试，覆盖了4B密集模型和35B-A3B混合专家模型两种规模。

混合专家模型：一种神经网络架构，内部有多个"专家"子网络，每次计算只激活其中一小部分，这样参数总量很大但实际计算量不高。35B-A3B的意思是总参数35B（350亿），但每次实际激活的参数只有3B（30亿）左右。

时序定位结果上，VideoJev-4B拿到了三个基准的平均mIoU 65.3，比它的基座模型Qwen3.5-4B（58.6）高出6.7个点，比此前的专门时序定位模型TimeLens2-4B（62.0）也高出3.3个点。更关键的是，在最严格的R1@0.7这个指标上（要求预测区间和真实区间重合度至少达到70%），VideoJev比TimeLens2-4B还高了2.8到4.8个百分点，说明它不只是"大概蒙对"，而是定位更精准了。

35B-A3B版本表现更亮眼，平均mIoU达到67.7，比基座模型Qwen3.6-35B-A3B（56.9）高出整整10.8个点。而且相比4B版本，模型规模放大带来2.4个点的提升，推理延迟只增加了22%，这个性价比相当划算。

速度方面，VideoJev-4B处理完整Charades测试集（1313个视频，3363个问题）平均每个查询只要0.276秒，相比基座模型Qwen3.5-4B的0.763秒，快了2.8倍。35B-A3B版本更快，0.336秒对比基座模型的1.054秒，快了3.1倍。

视频问答这边，VideoJev-4B四个基准的平均分达到74.3，比Instruct模式的基座模型（66.3）高8.0个点，和打开深度思考的Thinking模式基座模型（74.9）相比只差0.6个点，但速度快了129倍，从144.9秒压缩到1.123秒。35B-A3B版本更进一步，平均分79.5，甚至反超了基座模型的Thinking模式（78.8），速度快了100倍以上。

下面这个表格汇总了最核心的几组对比，加粗的是每个指标下的最佳表现：

| 模型 | 规模 | 时序定位平均mIoU | 问答平均分 | 问答推理延迟 |

|---|---|---|---|---|

| Qwen3.5-4B Instruct | 4B | 58.6 | 66.3 | 1.355秒 |

| Qwen3.5-4B Thinking | 4B | -- | 74.9 | 144.929秒 |

| **VideoJev-4B** | 4B | **65.3** | **74.3** | **1.123秒** |

| Qwen3.6-35B-A3B Instruct | 35B-A3B | 56.9 | 73.8 | 2.379秒 |

| Qwen3.6-35B-A3B Thinking | 35B-A3B | -- | 78.8 | 149.777秒 |

| **VideoJev-35B-A3B** | 35B-A3B | **67.7** | **79.5** | **1.493秒** |

为了排除"这些提升只是因为用了更好的训练数据"这种质疑，研究者还做了一个对照实验。他们用完全相同的训练数据，训练了一个普通的自回归版Qwen3.5-4B，让它照旧用生成文字的方式输出时间区间或者选项字母。结果VideoJev在时序定位和问答上分别还是领先1.3个点和1.9个点，说明打分这套架构本身确实带来了额外的收益，不只是数据堆出来的效果。

置信度准不准

既然模型给出的是概率分数，一个自然的问题是：这个概率能不能真实反映模型答对的把握？

论文做了校准分析，结果显示置信度和准确率整体上是正相关的。比如在LVBench上，35B-A3B模型对那些置信度在99%以上的591道题，实际准确率达到95.8%，远高于全体题目73.4%的平均准确率。这说明高置信度确实对应更高的可靠性，未来或许可以用这个信号来决定什么时候该相信模型、什么时候该升级给更复杂的推理流程处理。

但论文也诚实地指出了一个不足：VideoJev的概率总体上偏向高估自己的正确率。用期望校准误差（ECE，数值越小代表越准）来衡量，4B和35B-A3B模型的四基准平均ECE分别是8.65和8.13个百分点，说明模型"说自己有90%把握"的时候，实际对的概率可能只有80%出头。论文提到，像OpenAI推出的Jev系统那样专门用强化学习去优化校准效果，VideoJev目前并没有做这类针对性训练，这是一个留给未来的改进空间。

这件事放在更大的脉络里意味着什么

VideoJev所代表的思路，叫做System One（系统一），这个名字借用了心理学里"快思考"和"慢思考"的区分。系统一指的是那种不假思索、直觉式的判断，系统二才是需要费力推理的深度思考。

这个思路最早是由TypeSafe AI公司提出的Jev模型带起来的，之后陆续有工作把它扩展到图像领域，比如Visual Jev可以对同一张图做多个强制选择判断，PixelJev支持图像识别和多选视觉问答。VideoJev则是把这套系统一的打分范式第一次系统地搬到了视频领域，并且专门解决了视频特有的难题：怎么在反复提问同一段视频时，不重复做那些已经做过的计算。

论文的结尾部分提出了一个值得琢磨的展望。研究者设想，未来一个更高层级的"系统二"式的智能体，可以把开放式的目标拆解成一个个具体的视觉检查项，比如"现在有没有放盐"、"这个物体是不是已经移动了"，然后把这些检查项交给VideoJev这样的系统一模型去打分判断，系统二负责规划决策，系统一负责对接视觉证据给出快速判断。这种分工有点像一个项目经理和一个质检员的配合，项目经理决定下一步该做什么，质检员则负责快速核对每个环节是否达标，不需要每次核对都重新开一次长会。

Q&A

Q1：VideoJev是什么？

A：VideoJev是一个视频理解AI模型家族，核心思路是用打分代替生成文字来回答视频相关问题，既能做时序定位（找事件发生的时间段），也能做多选视频问答，推理速度比传统生成式模型快数十倍甚至上百倍。

Q2：VideoJev相比普通视频大模型的优势是什么？

A：VideoJev在三个时序定位基准上平均提升6.7到10.8个mIoU点，推理速度快2.8到3.1倍；在四个视频问答基准上效果接近深度推理模式，但速度快100倍以上，因为它直接给候选答案打分，不需要一个字一个字生成文本。

Q3：VideoJev怎么处理同一段视频的多次提问？

A：VideoJev提供缓存推理和联合推理两种模式，视频只需编码一次，后续问题可以复用这份计算结果，联合推理还能把多个问题打包在一次前向计算里同时得出答案，大幅减少重复计算开销。