上海AI实验室让AI学会"边看边想"：视频理解终于不再是"一眼定终身"了

这项由上海人工智能实验室、上海创新研究院与南京大学联合完成的研究，于2026年6月发表，论文编号为arXiv:2606.12195，有兴趣深入了解的读者可通过该编号查询完整论文。

你有没有遇到过这样的情况：有人问你一部两小时电影里某个关键情节，而你只看了开头五分钟，硬着头皮猜测答案？这就是目前绝大多数视频理解AI系统的真实处境。它们被设计成"一次性读完全部内容，然后给出答案"的模式，就像让一个人以飞速翻阅整本书，然后回答书里某个隐藏细节——既不现实，也难以准确。

上海AI实验室的研究团队注意到了这个根本性的问题，并提出了一套全新的解决方案，将其命名为InternVideo3。这套系统的核心理念是：**让AI像侦探一样工作**——不是一眼扫完所有证据就草草结案，而是不断观察、推理、收集新证据、修正判断，直到找到真正站得住脚的答案。为了支撑这种侦探式的工作方式，研究团队还设计了一套节省"工作记忆"的新技术，以及一套循序渐进的训练流程。最终，这个系统在多项视频理解的权威测试中取得了在同等规模开源模型中名列前茅的成绩。

一、从"一眼定终身"到"边看边推理"：为什么视频理解需要"侦探思维"

普通的AI视频问答系统工作起来像是这样的：把整段视频的画面全部"看"一遍，把所有信息压缩成一个固定的"印象"，再根据这个印象回答问题。这种方式对短视频还勉强够用，但遇到动辄几十分钟、几小时的长视频，就会产生严重的问题。关键的细节淹没在海量画面里，前面发生的事和后面的结果之间的因果联系很容易断裂，而且如果问题需要精确定位某个时间点的内容，这种"一把抓"的印象就完全不够用了。

研究团队把这个问题类比为侦探破案。一个优秀的侦探不会在第一次到达犯罪现场时就宣布案件告破，而是会经历一个反复的循环：先观察现场（收集初步证据），提出一个初步假设（推理），根据假设决定下一步去哪里调查（采取行动），获得新的线索（反馈），然后修正原来的假设（更新判断）。这个循环会一直持续，直到证据足够充分，可以得出可靠的结论为止。

研究团队将这种工作方式正式命名为"多模态情境推理"（Multimodal Contextual Reasoning，简称MCR）。在这个框架里，AI系统维护着一个不断更新的"侦探笔记本"——里面记录着它看到了什么画面、做了哪些推断、调用了哪些工具、得到了什么反馈，以及当前最新的假设是什么。每一轮循环结束后，笔记本的内容都会更新，AI的判断也随之更加准确。

这对普通用户意味着什么？以后当你问AI"这部纪录片里那位科学家最后有没有完成实验？"时，AI不会再凭直觉猜测，而是会像真正的研究者一样，先看看片子大概讲的是什么，定位到可能包含答案的片段，仔细分析那段内容，再检验自己的答案是否有足够的画面证据支撑。

二、侦探的"工作记忆"瓶颈：为什么长时间破案会变慢

任何侦探都有一个实际困难：随着调查深入，案卷越积越厚，每次翻查资料都需要更多时间和精力。AI系统也面临同样的挑战，只是技术上的名称叫做"KV缓存"（Key-Value Cache）。

简单来说，当AI在处理一长段视频或文字时，它需要在内存中保存大量的"中间记录"，以便在生成答案时随时回查。每一帧画面、每一段推理、每一条工具返回的结果，都会变成这个缓存里的内容。内容越多，占用的内存越大，计算也越慢。按照传统方案，最简单的解决办法是"少看几帧"——也就是删除部分画面，只保留关键片段。但这就好比让侦探在破案之前就销毁部分证据，很可能恰好把关键线索给扔掉了。

研究团队选择了另一条路：不减少证据数量，而是改进存档方式。他们设计了一种叫做"多模态多头潜在注意力机制"（Multimodal Multi-head Latent Attention，简称M2LA）的新技术。

要理解M2LA，可以用档案柜来打比方。传统的存档方式是把每一份证据材料都原封不动地放进柜子，每个抽屉里塞满了厚厚的文件。M2LA的做法则是：先把每份文件压缩成一份精简的摘要卡片，存档时只保存这张卡片；当侦探真正需要查看某份文件的细节时，再根据卡片快速还原出完整内容。这样一来，档案柜里能装的案卷数量大大增加，而且查阅时也不会丢失关键信息。

技术上，M2LA把每个注意力头（可以理解为AI关注不同侧面的"眼睛"）所需要保存的键值对（Key-Value对），压缩成一个紧凑的潜在向量，存入缓存；在实际计算时，再通过一组学习好的"解压缩"映射，快速恢复出各个头所需的具体数值。整个过程对最终的计算结果影响很小，但内存占用减少了大约50%。

研究团队在一块H200 GPU上进行了详细测试。当输入长度为32K个词元（可以理解为约32000个字或等量的图像片段）时，使用M2LA的版本解码速度达到每秒约40个词元，而原始版本只有约21.7个词元每秒，提速约1.84倍。随着输入长度增加到128K，提速效果更加明显，大约快了4倍以上。当输入长度达到512K时，原始版本直接因为内存不足而无法运行，而M2LA版本依然可以正常工作，并在此后继续扩展到768K的超长输入。

不过，M2LA的设计还需要应对一个技术难题。研究团队选用的基础模型Qwen3在每个注意力头里使用了一种叫做"QK归一化"的稳定训练技巧，这个操作会根据每个输入动态地调整缩放比例，理论上会让跨头的静态压缩操作失效。研究团队发现，在实际训练好的大模型中，这个归一化系数的分布其实非常集中，变化幅度很小，因此可以用一个全局的线性近似来替代，误差极小。这个观察让M2LA得以顺利应用于Qwen3架构，而无需重新训练基础模型。

三、如何把一个"普通AI"训练成"长视频侦探"：四阶段炼成记

有了MCR这套侦探工作框架和M2LA这个高效档案系统，研究团队还需要解决最关键的问题：如何让AI真正掌握这套侦探技能？这需要一套精心设计的训练流程，研究团队将其分为四个阶段，每个阶段各司其职。

第一阶段叫做"注意力改造后的恢复训练"。把基础模型的注意力机制替换成M2LA之后，模型原本学会的很多能力会暂时出现退化，就像一个习惯用右手写字的人突然被要求改用左手，刚开始时会写得乱七八糟。因此，研究团队首先用一个包含1600万个多模态样本（约135亿个词元）的混合数据集对改造后的模型进行"恢复训练"，让它重新适应新的注意力结构，把语言理解能力和图文对齐能力找补回来。这批训练数据按约30%纯文本、55%图文对、15%视频描述的比例混合，确保覆盖多种能力维度。

第二阶段叫做"从短到长的视频微调"。直接用超长视频训练AI往往会导致训练不稳定，就像让新手侦探直接去处理世纪悬案一样，从难度适中的案子开始才是正确的做法。研究团队设计了一个课程式训练路线：先用2帧/秒、最多512帧的视频进行训练，对应约32000个词元的上下文长度；再逐步提升到4帧/秒、最多2048帧，对应约256000个词元的超长上下文。这套视频监督数据是研究团队专门构建的，共包含约37.9万个视频，平均时长15.8分钟，合计约10万小时，是一个专门针对长视频理解设计的大规模数据集。

在构建这批训练数据时，研究团队采用了一种层次化的标注方法。由于原始长视频往往超出现有AI模型的可靠处理范围，他们首先用场景感知的方法把长视频切分成语义连贯的短片段，再让一个强大的教师模型为每个片段生成细粒度的描述（包括动作、物体、场景变化等），然后将相邻片段的描述合并成场景级摘要，再将多个场景摘要合并成整个视频的长篇叙述。在此基础上，研究团队为每个视频自动生成了超过100万个问答对，覆盖感知与识别（占35.4%，如动作识别、物体识别、文字识别等）、时空理解（占33.4%，如时间推理、多跳时间推断、场景状态追踪等）、事件与行为推理（占18.1%，如动作推理、事件链推理等），以及整体语义（占13.1%，如情节理解、长篇摘要等）四个大类。

第三阶段叫做"基于规则的强化学习"。在第二阶段的有监督微调之后，AI的能力有了一定基础，但仍然受限于训练数据的覆盖范围。为了进一步提升AI在可验证任务上的准确性，研究团队引入了强化学习——具体使用的是一种叫做"基于群体序列的策略优化"（GSPO）的方法。在这个阶段，AI面对的是两类任务：视频问答（可以自动判断答案对错）和时间定位（可以通过预测的时间区间与真实时间区间的重叠比例来打分）。对于每个训练样本，AI会生成一批候选答案，系统根据规则打分，得分高的答案会被"鼓励"，得分低的会被"惩戒"，逐渐让AI学会更准确地推理和定位。为了保证训练效率，研究团队还特意筛掉了那些AI已经完全答对或完全答错的样本，只保留"胜负难料"的中间地带，让训练集中在最有价值的地方。

第四阶段叫做"在线知识蒸馏"。这个阶段借鉴了"师徒传授"的思路，但比普通的知识蒸馏更加精巧。研究团队选用了Qwen3-235B这样一个能力远超InternVideo3的强大模型作为"导师"，然后让InternVideo3（学生）先自己生成回答，再由导师对同样的题目作答，并计算两者回答质量的差距，用这个差距来指导学生的学习。这种方式的好处在于，学生是在自己实际"犯错"的场景下接受纠正，而不是机械地模仿导师的答案，因此对学生来说更有针对性，也更不容易"过拟合"。研究团队还对训练样本进行了筛选，只保留导师明显优于学生的案例，避免把时间浪费在学生已经掌握的内容上。

四、真正的"视频侦探"是怎么工作的：AI探员实战演示

除了作为一个可以直接回答视频问题的模型，InternVideo3还可以被配置成一个完整的视频智能体（Video Agent），配备一整套侦探工具箱，用于处理真正复杂的长视频任务。

这套视频智能体的工作流程如下。首先，当接到一个视频和一个问题时，智能体会构建一个层次化的记忆索引，把视频的关键帧、场景边界、片段摘要、时间戳以及可能存在的字幕或文字信息都整理好，就像侦探在开始调查前先整理一份案件概览。在这个阶段，智能体还会判断问题属于哪种类型——是需要把握全局内容的总体性问题、是依赖语音内容的对话类问题、是需要外部知识的知识类问题、是要精确定位时间的时间类问题，还是需要精细辨别画面细节的精细类问题——这个判断会影响后续调用哪些工具。

随后，智能体进入"循环侦查"阶段。它可以调用视频分割工具来更新场景结构，调用语音识别工具来获取说话内容，调用网络搜索来补充背景知识，调用时间定位工具来锁定相关片段，以及调用内部的摘要和验证工具。每次工具调用的结果都会被追加到那个不断更新的"侦探笔记本"（即MCR框架中的共享上下文）里，成为下一轮推理的新证据。

在准备给出最终答案之前，智能体还会进行一次"自我质检"：当前的证据是否足够支持这个答案？有没有相互矛盾的地方？如果感觉证据不够扎实，它会再发起一轮针对性的调查，重点检查那些还不确定的部分。这个验证机制有效降低了AI"一本正经地胡说八道"的可能性。

研究团队展示了几个具体的案例。其中一个案例问的是"视频里的主角安吉洛为什么要量身定制西装"，AI通过多个关键画面的分析，最终得出结论：安吉洛接受了一位戴眼镜的男士关于"想成为银行家就要穿着像银行家"的建议，因此找了两位专业设计师为自己定制了符合职业形象的西装。另一个案例问的是"展现森林中士兵执行任务的画面，和后来的和平场景之间有什么关联"，AI分析出这是一种对比叙事手法，用战时的残酷现实和战后反思的结构来探讨战争与和平的主题。这些案例展示了AI在理解跨场景因果关系和叙事逻辑方面的能力提升。

五、成绩单：这套"侦探训练"到底有多有效

研究团队在三大类测试中对InternVideo3进行了系统评估，覆盖了长视频理解、短视频理解以及时空智能这三个维度。

在长视频理解测试中，InternVideo3的表现尤为突出。以Video-MME这个综合性视频理解测试为例，InternVideo3达到了73.8分，超过了同等规模的其他开源模型，包括Keye-VL-1.5-8B的73.0分、Eagle2.5-8B的72.4分，以及它的基础模型Qwen3-VL-8B的71.4分。在MLVU（专门测试多任务长视频理解的基准）上，InternVideo3达到77.3分，比排在第二的InternVideo2.5-7B的72.8分高出了4.5分，也大幅领先于其他竞争者。在VRBench（测试长篇叙事视频多步推理能力的基准）上，InternVideo3达到69.4分，远高于同等规模的Qwen3-VL-8B的59.4分，差距超过10分。在EgoSchema（专门测试第一人称视角长视频理解能力的基准）上，InternVideo3达到了76.6分，甚至超过了人类在这个测试上的平均得分76分——当然，研究团队也特别提醒，超过单一测试的人类基准并不代表AI在所有视频理解任务上都超越了人类，需要谨慎解读。

与上一代模型InternVideo2.5-7B相比，InternVideo3在主要长视频测试上的进步相当显著：Video-MME提升了8.7分，LongVideoBench提升了6.2分，MLVU提升了4.5分，LVBench提升了9.3分，VRBench提升了17.5分，EgoSchema提升了12.7分。

在短视频理解测试中，InternVideo3同样保持了很强的竞争力，在所列出的开源模型中取得了最高的综合平均分69.0，高于Eagle2.5-8B的67.0分和InternVideo2.5-7B的66.5分。这说明专注于长视频的训练并没有以牺牲短视频能力为代价，两者反而实现了协同提升。

在时空智能测试中，InternVideo3在时间定位的三个基准（QVHighlights、Charades-STA、ActivityNet）上均取得了所列开源模型中的最好成绩，在空间理解的VSIBench测试上也以68.1分的成绩显著领先于Qwen3-VL-8B的59.1分和InternVL3.5-8B的56.0分。时间和空间定位能力的提升对于未来的视频智能体来说至关重要，因为"知道答案在视频的哪一刻"和"知道答案本身"同样重要。

关于"侦探模式"（即MCR智能体推理）带来的额外收益，研究团队在Video-MME上进行了初步对比：直接问答模式得分为73.1，而开启MCR的智能体模式得分上升到了75.8，提升了2.7分。研究团队坦承，这个效果目前还没有在所有长视频测试上得到稳定验证，因为现有的公开视频测试大多是为直接问答设计的，并不能充分体现多轮推理和证据收集的价值。他们将这个结果定性为"概念验证"而非最终结论，并期待未来专门针对智能体行为设计的测试平台能够更好地衡量这类能力。

研究团队还通过消融实验（即逐一去掉某个组件来测试其贡献）验证了每个训练阶段的价值。去掉M2LA改造后的恢复训练，Video-MME得分下降4.2分；去掉长上下文训练，LongVideoBench下降3.0分；去掉专门的长视频监督数据，MLVU和LVBench分别下降3.3分和2.8分。这说明四个阶段各有其不可替代的作用，缺少任何一个都会导致明显的性能下滑。

六、研究的边界与诚实的自我认知

研究团队在论文中相当坦率地指出了这项工作的局限所在，这种坦诚本身也值得关注。

首先，开源多模态模型的发展速度极快，研究进行期间就已经出现了若干性能更强、原生支持更长上下文的新一代模型。因此，这篇论文并不主张自己是当前所有视频理解任务上的最强系统，而是专注于展示"在有限规模的开源模型上，通过更好的推理框架和训练方式能做到多少"这一具体问题的答案。

其次，M2LA这条效率路线是从将现有的GQA（分组查询注意力）架构转换为潜在注意力形式出发的，对于那些原生就采用了更新型注意力设计的模型，这套转换思路的直接适用性有限。不过研究团队认为，"如何让大规模多模态模型处理长上下文时更高效"这个问题本身的重要性并未过时，只是具体的技术路线会随着基础架构的演进而变化。

再者，MCR框架所使用的闭环推理、工具调用、记忆管理、自我验证等概念，在AI智能体领域已经是广为讨论的方向，研究团队的贡献主要在于提供了一个专门针对视频理解场景的清晰公式化框架，以及将这套框架与高效注意力机制和专项训练流程结合起来。

此外，现有的视频智能体系统依赖于语音识别、时间定位、视频分割等外部工具，工具出错时其错误会直接污染AI的推理上下文。当前的工具接口设计也比较轻量，没有和基础模型联合优化，未来可以进一步提升鲁棒性。

最后，研究团队直接指出，目前的评估工作聚焦于视频理解场景，尚未系统测试MCR框架在GUI操作智能体、浏览器任务、移动端智能体或具身机器人等其他多模态智能体场景中的表现，这些都是值得后续探索的方向。

说到底，这项研究做了一件很有价值的事：它明确提出了"视频理解的瓶颈不是看不到足够多的画面，而是无法用足够长的思维链来分析这些画面"这一核心判断，并围绕这个判断构建了一套从架构效率到训练方法再到系统设计的完整技术栈。对于未来那些需要在几十分钟乃至几小时的视频里"找证据、做推理、给答案"的实际应用场景——比如医疗手术录像分析、安防监控复查、教育课程内容提炼——这套侦探式的工作方式可能比今天的"一眼定终身"模式更接近实用。研究者们也承认，要让这套方法真正发挥出最大价值，还需要专门设计能测量多轮推理和证据收集行为的评估基准，这是整个领域目前还欠缺的基础设施。有兴趣深入研究的读者可以通过arXiv编号2606.12195查阅完整论文。

Q&A

Q1：InternVideo3的MCR框架和普通的视频问答AI有什么本质区别？

A：普通视频问答AI是"一次性读完视频再回答"，MCR框架则让AI像侦探一样循环工作——先观察，提出假设，再调用工具收集新证据，修正判断，直到答案有足够的证据支撑。核心差别在于"推理是动态更新的"，而不是一次性完成的。

Q2：M2LA技术是如何让AI处理更长视频的？

A：M2LA把AI在处理长内容时需要保存在内存里的大量"中间记录"进行压缩，存储一份精简摘要，需要时再还原细节。这样内存占用减少约50%，解码速度在长上下文下提升数倍，让AI能在单张GPU上处理原本会内存溢出的超长视频输入。

Q3：InternVideo3的训练数据里那37.9万个长视频是怎么制作的？

A：研究团队先用场景感知方法把长视频切成语义连贯的短片段，用强大的教师模型为每段生成描述，再把片段描述层层合并成整个视频的叙述，最后在这些叙述基础上自动生成超过100万个涵盖识别、推理、空间时间理解等多种类型的问答对。