视频推理模型如何主动找证据：Open-o3-Video-v2的取证式推理

你可能有过这样一种体验：看一段两小时的球赛录像，朋友发消息问你"第三场比赛的第五个人是不是穿了红衣服"，你没法直接回答，必须拖回去找那一段。人类看视频回答问题，从来不是"看完就答"，而是不停地倒带、放大、盯着某个角落反复看。

机器做这件事，比我们想的难得多。

问题出在采样这一步。视频太长了，长到没有任何模型能把每一帧都塞进上下文里。所以现在主流的做法是"稀疏采样"：从一段视频里均匀抽几十帧出来，让模型只看这几十张图，然后回答问题。

这个做法有一个致命的漏洞。假设视频里决定性的一秒钟正好落在两帧之间，模型永远看不到它。更糟的是，模型自己根本不知道自己漏掉了什么。

2025年10月，北京大学、复旦大学、南洋理工大学和加州大学默塞德分校的联合团队发布了 Open-o3-Video，第一次让视频模型把时间戳和物体框直接写进推理过程里。但那个版本有个硬伤：它只能在开局抽好的那几十帧里找证据，找不到就是找不到。

一年后，同一批人带着 Open-o3-Video-v2 回来，做的事情可以概括成一句话：让模型自己决定什么时候倒带、倒到哪里去、倒回来之后盯着什么看。

先说清楚一个概念。

推理链*：模型在给出最终答案前，一段可以被人读懂的"思考过程"文本，通常包在 think 标签里。

Open-o3-Video-v2 的核心，是把"思考"和"取证"编进同一条链。

模型的每一次回合，结构是这样的：先写一段思考，判断自己现在缺什么信息，然后发出一个工具调用，要求去截取视频的某一段时间来看，看完之后，把新看到的关键时刻和关键物体，用时间戳和物体框的形式，正式写进推理链里。

这个流程被作者概括为 seek、ground、reason，找、钉、推。

找，是判断哪里缺证据。钉，是把新拿到的画面里的关键物体用框框住、用时间戳标注。推，是把这个证据当作已经成立的前提，继续往下推理，或者直接作答。

这里有一个容易被忽略的细节：v2 里新拿到的证据，不会用完就扔。它会留在对话历史里，成为后续推理可以直接援引的材料。模型可以中途推翻自己刚才的判断，可以再倒一次带，也可以发现证据够了就停下。

打个比方。v1 的做法像考试前老师发了一张纸质小抄，上面只有固定的几行，考试时你只能从这几行里找答案，找不到就瞎蒙。v2 的做法像考场里允许你举手，你可以跟监考说"我想看第 12 页到第 15 页"，监考把那几页递给你，你可以在上面画圈，画完圈那页纸就留在你桌上，后面答题随时能翻。

如果你禁止举手这个动作，回到只有固定小抄的状态，会发生什么？论文给了一个数字：在 LVBench 这个以超长视频著称的测试集上，如果只是把 120 帧均匀铺满整个视频，准确率是 45.5%；而允许主动取证，同样大约 120 帧的总预算，准确率跳到 53.2%。

同样是 120 帧的信息量，一个只能平摊，一个可以集中砸在关键区域，差了 7.7 个百分点。这就是"举手权"的价格。

要训出一个会用这个工具的模型，光靠喊口号没用，得有数据。

这里要引入两个词。

监督微调*：用人工标注好的标准答案轨迹去训练模型，让它学会模仿正确的输出格式和行为模式。

强化学习*：不给标准答案，只给打分规则，让模型自己生成一堆答案，分高的被强化，分低的被削弱。

团队为此造了两个数据集。第一个叫 STGR-v2-CoT-135K，13.5 万条监督微调样本，其中 5.2 万条是多轮的、带工具调用的完整推理轨迹。第二个叫 STGR-v2-RL-13K，1.3 万条用于强化学习的样本。

造第一个数据集最难的部分，是得先判断"哪些问题真的需要倒带"。

做法是这样的：让一个叫 Qwen3-VL 的模型，只看 8 张稀疏帧，对每个问题跑 5 次。如果 5 次全答对，说明这题根本不需要看更多帧，直接扔掉。反过来，如果把标注好的关键片段喂给它，它还是答不对，说明这个片段没用，也扔掉。

剩下的题，才是真需要取证的题。

接下来是标注。用 Qwen3.5 把问题相关的物体和它们出现的时间段抽出来，再用 SAM3 这个分割模型，在关键帧上把物体的框画出来。超过整帧面积 80% 的框会被删掉，因为一个大到覆盖半个画面的框，等于没有定位。

然后由 Gemini-2.5-Pro 把原始推理过程改写成带工具调用的多轮版本。

最后是四道质检：框准不准、时间戳和框对不对得上、工具调用的时间段是否合法、推理文字是否真的被它引用的画面支撑。团队还人工抽查了 500 个样本，两个标注员独立标注，阶段二的标注一致率是 94.2%，阶段三是 92.6%。

这个流程听起来繁琐，但它解决的是一个很实在的问题。如果不做这一步会怎样？

模型会学会一套"仪式性"的工具调用。它会假装在取证，发一个工具调用，不管结果有没有用，然后照常输出原来的答案。这在强化学习里特别危险，因为只要最终答案对了，中间过程是真是假不会被惩罚。数据质检就是把这个漏洞堵上。

再往下，是这篇论文最有技术含量的部分。

强化学习需要给模型的输出打分。标准的 GRPO 算法只看最终答案对不对，这对多轮取证来说太粗了。一个模型可能发了三次工具调用，只有第二次真正找到了关键证据，第三次纯属重复劳动，但最终答案对了，三次调用都拿到同样的奖励。

作者设计了 Clue-Seek GRPO，我们叫它线索追踪强化学习。

它的核心是一个叫"证据状态"的东西。

证据状态*：把模型到目前为止所有工具调用截取的时间段，合并起来，和标注好的真实关键片段求交并比，得到的那个数值。

这个数值会随着每次工具调用而变化。如果一次调用截取的区间正好落在关键片段里，状态值会上升；如果截取了一段跟答案无关的内容，状态值反而会下降，因为它扩大了分母。

有了这条随回合变化的状态曲线，就能定义几种奖励和惩罚。

关键点来了。

第一项是终点线索奖励，直接看最后累积的证据覆盖了多少真实关键片段。

第二项叫逐步增益奖励，只要某一次调用让状态值提升超过 0.1，就给一分。这一项专门奖励"真正推进了解题"的动作。

然后是三把约束的刀。预算惩罚，超过三次调用就开始扣分，因为作者发现真实的关键片段通常三次以内就能找到。重复惩罚，两次调用截取的区间重合度超过 0.7 就扣分。碎片惩罚，如果模型像扫描仪一样一段段挨着看，连续三段以上首尾相接，就扣分。还有一个下降惩罚，如果新的一次调用反而把已有的证据稀释了，状态值掉了超过 0.1，也要扣。

还有一个叫"时间门控"的设计，它属于 v1 时代留下的遗产。

时间门控*：只有当模型预测的时间戳足够接近真实时刻时，才计算它给出的物体框和真实框的重叠度，否则这一项直接归零。

为什么要有这个门？因为空间上的框准不准，前提是时间点先对了。如果模型在错误的时间点画了一个完美的框，那个框圈住的是一个和问题无关的物体，给它奖励等于教模型"框画得好就行，看哪一帧无所谓"。

反过来说，如果取消时间门控会怎样？论文的消融实验给了答案：去掉门控，mAM 和 mLGM 分别掉 1.4% 和 1.7%。看起来不多，但这说明确实存在一部分输出，是在错误时刻画出了漂亮框，然后被错误地奖励了。

这里可以打个比方。时间门控像批改作文时的"跑题一票否决"。你要求学生写一篇关于夏天的作文，某个学生文笔极好但全篇写的是冬天。如果你只按文笔打分，他会拿高分，然后他会以为"写什么不重要，写得好就行"。门控就是先卡题目，跑题了后面免谈。

如果没有这道门呢？模型会学会一种更省力的策略：不去费劲找对时间点，反正只要在某个时刻画个像样的框，就有分拿。时间定位能力会退化，而时间定位恰恰是这类模型最难的部分。

现在来看成绩单。

在 V-STaR 这个专门考"时空推理"的测试集上，它同时考三件事：答案对不对、支撑的时刻找得准不准、支撑的物体框得准不准。两个综合指标 mAM 和 mLGM 就是这几个维度的加权。

4B 版本的 Open-o3-Video-v2 拿到 40.4% mAM 和 56.3% mLGM，比它自己的底座 Qwen3-VL-4B 高出 8.5% 和 12.6%。8B 版本更进一步，40.7% mAM 和 56.5% mLGM。

对比一下同期的对手。Gemini-3-Pro 在这个测试集上是 29.9% mAM 和 41.2% mLGM。GPT-4o 是 26.8% 和 38.2%。Video-o3 这个专门做多跳线索搜索的智能体方法是 19.3% 和 22.8%。

一个 4B 的开源模型，在两个综合指标上超过了 Gemini-3-Pro 约 10 个百分点。

这里要小心一点：V-STaR 考的是"答案加证据"的联合能力，不是纯粹的通用视频理解。Gemini 在纯问答上未必弱。但在"说清楚你是怎么知道的"这件事上，它确实落后了。

换个视角看这些数字。mLMGM 从 43.7 提到 56.3，意味着什么？意味着在每一百道题里，能同时给出正确答案并且证据链站得住脚的，多了大约 13 道。这 13 道题，就是模型从"猜对了"变成"真的知道"的量。

在通用视频理解上，v2 也没有牺牲。Video-Holmes 上 4B 版本从底座的 37.3% 提到 48.0%，在 LVBench 上从 46.0% 提到 53.2%。有意思的是，监督微调刚做完时，VideoMME 的准确率是从 65.3% 掉到 63.7% 的，因为密集的取证轨迹让模型变得"过度结构化"。是强化学习阶段把它拉回到 66.6%。

这个先降后升的曲线本身就是故事。模仿让人变刻板，打分让人变灵活。

还有一个数字值得单独拿出来。在论文构建的一个 149 题的长视频子集上，视频中位长度是 79 分钟，Open-o3-Video-v2 拿到 48.3% 的准确率，比 Qwen3-VL-4B 高 10.7 个点，比 Video-o3 高 10.0 个点。79 分钟的视频，只靠开头抽的几十帧，几乎不可能找到藏在第 68 分钟的线索。

最后做一个诚实的部分，说说它没解决什么。

论文自己给出了失败分析。在 LVBench 的错误预测里，约 43% 是"找错了时间段或者选错了事件"，27% 是"物体定位和精细感知出错"，只有约 6% 是纯粹的知识性错误。

第一个失败案例很说明问题。模型确实倒带找到了那张脸，但认不出这个人是谁。取证能力已经到位了，世界知识没有跟上。

第二个案例更微妙。镜头横摇过观众席，画面里出现两个女人，但正确答案是一个。模型把前后景里看起来相似的人重复计数了。这是实例跟踪的问题，跨视角的身份关联，比找画面难得多。

第三个案例是，模型圈住了一个真实的得分瞬间，但圈错了，不是终场那个球。相近时间里的相似事件，仍然分不开。

所以它现在的状态是：知道该去哪里看，能把看到的东西标出来，但认出"这是什么"和分清"是不是同一个"这两件事，还是短板。

写在后面

读这篇论文时，我一直在想一个更一般的问题：什么时候该让模型"自己决定要不要再看一眼"？

这不是视频模型的专属问题。任何信息量超过上下文窗口的任务都有这个结构：网页搜索、代码库检索、长文档问答。共同点是，第一遍看到的东西永远不完整，而补看这个动作本身是有成本的。

Open-o3-Video-v2 给出的答案有个我觉得很漂亮的细节：它奖励的不是"看了"，而是"看了之后，掌握的信息变多了多少"。一个工具调用本身没有价值，价值在它引起的状态变化上。

这个视角的转移，比具体的时间戳和框的格式更值得记住。

还有一个我很喜欢的实验结果：SFT 之后 VideoMME 掉分，RL 之后又涨回来。我们经常把"训练"想成一个单调上升的过程，但这里清楚地显示，模仿和探索在往不同方向拉。模仿让输出变得更规范，规范到失去了应变能力；打分让模型重新找到灵活性。什么时候该用哪一种，可能比用多大的模型更重要。

一个真正的开放问题：如果模型的取证能力已经超过了它的识别能力，我们要不要把这两件事拆开来训练？现在的做法是把它们塞在同一个模型里端到端优化，但失败分析显示，43% 的错在找证据，27% 的错在认东西，它们的性质完全不同。一个更大的基座模型也许能同时改善两者，但也可能只是把"找得准但认不出"变成"找得更准但更认不出"。

下次你看到某个模型自信地告诉你一个答案，不妨问它一句：你是怎么知道的？它要是能指着某一段画面里的某个东西说"因为这个"，那大概是真的。

Q&A

Q1：Open-o3-Video-v2 和普通视频问答模型有什么区别？

A1：普通模型只看开局抽好的几十帧就作答，看不到就猜。Open-o3-Video-v2 可以自己判断哪里缺证据，主动截取视频片段来看，再把新看到的物体框和时间戳写进推理过程，作为后续推理的前提。

Q2：Clue-Seek GRPO 的奖励是怎么设计的？

A2：它跟踪每次工具调用后"证据覆盖率"这个数值的变化。覆盖到关键片段给分，某次调用让覆盖率明显提升额外给分，调用超过三次、区间重复、逐段扫描或证据被稀释都会扣分。

Q3：Open-o3-Video-v2 在 V-STaR 上成绩如何？

A3：4B 版本拿到 40.4% mAM 和 56.3% mLGM，比底座 Qwen3-VL-4B 高 8.5% 和 12.6%。8B 版本达到 40.7% 和 56.5%，在综合指标上超过 GPT-4o 和 Gemini-3-Pro。