南京大学团队首次为"全能AI视频理解"制定考试标准，结果发现所有模型都在同一道题上栽了跟头

这项由南京大学NJU-LINK团队联合快手科技Kling团队完成的研究，于2026年6月7日以预印本形式发布，论文编号为arXiv:2606.08572v1，收录于计算机视觉领域（cs.CV）。感兴趣的读者可通过该编号在arXiv平台查阅完整原文。

研究概要：当AI既能"看"又能"听"，它真的理解你说的话吗？

设想你雇了一位助理，这位助理不仅眼力好，耳朵也很灵，能同时接收画面和声音信息。你交给他一项任务：把这段视频写成一份报告，要求用特定的表格格式、标注好每个事件发生的具体时间、声音部分要单独说明，最后报告总字数控制在200字以内。

这位助理会怎么表现？他可能把表格画得很好看，但时间戳全标错了；或者时间记准了，却忘记处理声音部分；又或者他干脆忽略了字数限制，洋洋洒洒写了一大篇。这正是当今最先进的"全能大语言模型"面临的真实困境——它们同时处理视频的画面和声音已经相当不错，但一旦你给出多个具体要求，它们就开始顾此失彼。

更麻烦的问题在于：在这项研究之前，整个学术界甚至没有一套专门测试这种"多要求同时满足"能力的标准考试题目。就像你想给厨师考试，却发现市面上只有单独测试刀工的题目、单独测试火候的题目，从来没有一套综合考察"按照食谱完整做出一道菜"的题目。

南京大学的研究团队决定亲自来出这套综合考题，他们将其命名为**OmniCap-IF**——这个名字里，"Omni"代表"全能模态"（即同时处理声音和画面），"Cap"代表"视频描述"（Captioning），"IF"则代表"指令遵循"（Instruction Following）。这是学术界第一个专门测试全能模态模型按要求完成视频描述任务的综合基准，包含1920道精心设计的测试题，覆盖50种不同类型的指令限制。

研究团队不仅建立了这套考试题目，还发现了一个此前从未被系统研究过的现象——他们称之为"格式-内容权衡困境"：当你给AI规定的格式越严格（比如必须用JSON格式输出），它理解视频内容的能力就越差。这一发现对整个AI行业如何设计和使用这类模型都有直接影响。

团队最终还提供了一套54K规模的训练数据集以及基于训练得到的OmniCaptioner-IF模型，证明经过针对性训练，模型在遵循复杂指令方面可以得到显著提升。

---

一、这套考试题到底在考什么

要理解这项研究的价值，首先得搞清楚"全能模态视频描述"究竟是什么。

当我们看一段做菜的短视频时，我们会同时接收到几类信息：厨师的动作和食材的外观（视觉），锅里食物的滋滋声和厨师的解说（听觉），以及这两者在时间上的配合——比如当厨师说"现在把盐加进去"的同时手里正好做出撒盐的动作。一个"全能"AI应该能够整合这三类信息，并且在用户提出具体要求时，按要求有选择地描述其中某些方面。

现实应用场景中，这种能力非常关键。一个视频平台可能需要AI自动生成带有精确时间戳的字幕；一个视频剪辑工具可能需要AI按照特定的表格格式输出镜头分析报告；一个无障碍工具可能需要AI只描述声音信息，把视觉内容转化为文字供视力障碍用户使用。在所有这些场景中，AI不仅要理解视频内容，还必须严格按照给定的格式和要求来组织输出。

研究团队为此建立了一个包含50种限制类型的系统分类框架。这50种限制分成两大类：格式限制和内容限制。

格式限制关注的是"怎么写"，而不是"写什么"。它分为两个子类：结构性限制和风格性限制。结构性限制包括要求以JSON对象格式输出、以JSON数组格式输出、以无序列表格式输出、以有序列表格式输出、以Markdown表格格式输出、必须包含某个关键词或必须排除某个关键词，以及时间戳格式等要求。风格性限制则包括Markdown语法（如加粗、斜体）、前缀后缀限制、分隔符要求、字数限制、数量限制、大小写要求以及语言要求（如部分内容必须用中文）等。

内容限制关注的是"写什么"，它按照信息来源分成三个维度。纯视觉维度涵盖了从画面中才能获取的信息，比如画面中的实体和属性、视觉事件和动作、电影拍摄手法（如镜头移动、景别大小）、叙事视角、关注焦点、必须提及的内容、必须排除的内容、对比分析、详细描述与概括性描述、以及视觉推理等类型，还包括一类特殊的"视觉时间定位"——要求AI标注某个视觉事件具体发生在视频的哪个时间段。纯听觉维度则对应声音轨道中才能获取的信息，比如声音实体的属性（音色、音调、音量、音乐风格）、声音事件和动作、音频制作结构、听觉叙事视角、听觉聚焦、必须包含的音频内容、必须排除的音频内容，以及类似地，"音频时间定位"要求AI标注某个声音事件的具体时间范围。

音画综合维度则是整个框架中最难的部分，它要求AI同时整合视觉和听觉信息。这个维度包括描述音画之间的因果关系和互动、判断声音来源是否出现在当前画面中（"画内声"还是"画外声"）、定位发声实体在画面中的位置和属性、描述视觉剪辑与音频剪辑之间的时序关系（如J切和L切这类专业剪辑技术）、音画综合叙事视角、以一种模态为锚定点来提取另一种模态的信息、对比音画之间的语义矛盾、以及音画综合的时间定位——即找到音画出现同步或错位的具体时间点。

研究团队在这个框架中还特别强调了"时间定位"（Temporal Grounding）能力的评估。与大多数现有评测只关注AI说了什么相比，OmniCap-IF还关注AI说得"准不准时"。比如如果测试题要求标注某事件发生的时间段，评测系统会计算AI给出的时间段与正确答案之间的重叠程度（用一个叫做"时序交并比"的指标来衡量，重叠超过50%才算合格）；如果要求标注某个精确时间点，系统则会根据视频总时长动态计算一个容忍范围（视频越长，容忍范围越大，最小容忍1秒）。这种设计避免了对AI在长视频中进行不合理的毫秒级精度要求。

---

二、这1920道题是怎么来的

好的考题需要有质量保证，而不能随意生成。研究团队为此设计了一套双阶段、人机协作的题目制作流程。

第一步是视频素材的收集和筛选。团队从YouTube、TikTok和Ego4D（一个专门记录第一视角日常活动的学术视频数据集）中收集了一个大型版权友好的视频库，经过严格筛选最终保留480段视频。筛选标准主要看两点：这段视频的视觉内容是否足够丰富，以及视觉内容和音频内容是否具有足够强的关联性——一段无声的风景视频显然无法支撑音画综合类的测试题目。最终的480段视频覆盖了从喜剧小品到科技讲解的10个类别，视频平均时长达到54.6秒，比大多数现有音画理解基准的视频要更长，这意味着时间定位任务的难度也相应更高。

第二步是指令和检查清单的自动生成。对于每段视频，研究团队使用Gemini-3.1-Pro（谷歌最强的全能大模型之一）作为"指令生成器"，从50种限制类型中采样并组合，生成配套的测试指令和对应的评分清单。每道测试题平均包含6.93个限制条件，比较复杂的题目甚至包含9个以上的限制。这些限制被分成三个难度层次：正常难度（4至5个限制，包含1至2个音画综合限制）、高难度（6至7个限制，包含2至3个音画综合限制）和极限难度（8个以上限制，全面整合最难的内容和格式限制）。

第三步是最关键的人工审核和修改阶段。专业受训的标注员团队首先观看每段视频，逐一确认测试指令中的所有要求在实际视频内容中都有对应依据——不存在要求AI描述视频中根本没有发生过的事情的情况。随后，他们审核生成的50种限制类型是否被正确使用，并检查评分清单中每道问题的正确答案是否确实能从视频中得到支撑。最终，53.1%的自动生成样本经过了修改，22.7%被直接丢弃重新制作，每道题目只有在三位标注员全部达成一致意见后才最终确认，遇到分歧则由更资深的主管来做最终裁决。经过这一严格流程，最终形成了1920道高质量测试题目。

---

三、考试怎么打分：格式和内容要分开算

有了测试题，还需要一套公平可靠的评分机制。研究团队为OmniCap-IF设计了一种"双轨制"评分系统，把格式评分和内容评分彻底分开来计算。

格式评分采用的是"先提取、后程序验证"的两步走策略。当一个AI模型给出了回答之后，评分系统首先让另一个大语言模型（GPT-5-mini）从这段回答中把需要检查的具体内容提取出来（比如提取出JSON字符串、或者提取出时间戳部分），然后交给预先编写好的程序代码来做严格验证——程序会检查JSON结构是否正确、Markdown表格是否符合规范、时间戳格式是否按照要求、关键词是否出现或被排除，等等。这种"大模型提取，代码验证"的混合机制，比单纯让大模型做判断要更客观、更稳定，不容易受到模型自身偏好的影响。

内容评分则主要依赖"问答验证"策略。评分系统会针对视频中的具体事实提出多选题或是非题，然后把AI模型生成的描述文本作为"参考材料"喂给GPT-5-mini，让它根据这段描述来回答这些问题，最后把GPT-5-mini的答案与正确答案对比打分。这种方式特别注重"客观事实的准确性"，而不是"表达是否流畅优美"，有效避免了AI评判者偏爱自己风格的问题。对于时间定位类的内容，则同样先提取出时间戳，再用程序计算时序交并比。

在最终统计上，研究团队采用两个主要指标。第一个叫"限制满足率"（CSR），计算的是在所有测试的限制条件中，平均有多少比例被正确满足——这个指标反映了模型在单个限制层面的表现。第二个叫"指令满足率"（ISR），计算的是在所有测试题中，有多少比例的题目里所有限制条件都被同时满足——这个指标更为严苛，只要一道题中有任何一个限制没被满足，这道题就算失败。两个指标共同呈现出模型在细粒度和整体层面上的指令遵循能力。

为了验证这套评分系统本身的可靠性，研究团队还让专业标注员对部分题目做了人工评分，并与GPT-5-mini的自动评分结果进行对比。结果显示，GPT-5-mini与人类评判者的总体一致率达到94.70%，格式评分一致率96.12%，内容评分一致率94.29%。对一万道细粒度判断题来说，这个一致率相当令人满意，足以证明自动评分系统的可信度。

---

四、14个顶尖AI模型参加考试，结果如何

研究团队邀请了14个目前最先进的全能大语言模型参加OmniCap-IF考试，其中包括闭源的商业模型（Gemini-3.1-Pro、Gemini-3-Flash、MiMo-V2.5、MiMo-V2-Omni）和开源社区模型（Qwen3-Omni、MiniCPM-o、Qwen2.5-Omni、video-SALMONN2等）。作为参照，他们还对人类标注员进行了同样的测试。

人类标注员的成绩是：总体限制满足率83.29%，总体指令满足率35.31%，格式限制满足率94.83%，格式指令满足率84.19%。这组数据告诉我们，即便对人类来说，同时满足多个复杂限制也并非易事——三成多的题目能让人类完全答对，已经是认真仔细完成的结果。

在商业闭源模型中，Gemini-3.1-Pro表现最好，总体限制满足率达到80.65%，格式指令满足率78.65%，整体表现最接近人类水平，但距离人类仍有明显差距，尤其是在要求所有限制同时满足的指令满足率上（25.82%对比人类的35.31%）。Gemini-3-Flash以79.50%紧随其后，MiMo-V2.5和MiMo-V2-Omni则分别达到76.22%和74.40%。

开源模型的表现则差异相当悬殊。Qwen3-Omni（30B参数，思考模式）达到了71.91%的总体限制满足率，表现出色；而同系列的指令模式（Qwen3-Omni-Instruct）则只有62.65%，比思考模式低了约9个百分点，说明经过"思考链"训练的模式在处理复杂约束时更有优势。MiniCPM-o-4.5-9B达到64.69%，Qwen2.5-Omni-7B只有49.19%，而ASID-Captioner-7B仅24.52%。

从模态维度来看，所有模型在纯视觉限制和纯听觉限制上的表现，都明显好于需要同时整合音画的综合限制。以Gemini-3.1-Pro为例，其视觉内容限制满足率74.15%，听觉内容限制满足率77.45%，而音画综合限制满足率只有73.40%。这个规律在所有被测模型中普遍存在，说明真正的音画深度融合仍是当前技术的瓶颈。

另一个值得关注的规律是，格式类限制的满足率普遍高于内容类限制。这是因为格式本质上是文本层面的规则，模型处理起来相对容易；而内容理解需要真正理解视频中发生的事情，难度更高。人类在格式上的表现（格式指令满足率84.19%）尤其突出地超越了所有AI模型，因为人类能够仔细检查自己的回答是否符合格式要求，而模型似乎不太擅长做这种自我审查。

研究团队开发的OmniCaptioner-IF系列模型（基于Qwen2.5-Omni微调）表现颇为亮眼。OmniCaptioner-IF-7B的格式限制满足率达到90.39%，与Gemini-3.1-Pro（90.45%）几乎持平，而格式指令满足率77.92%也接近Gemini-3.1-Pro的78.65%。这说明经过针对性的指令遵循训练，一个7B参数的开源模型在格式控制方面完全可以追上当前最强的商业闭源模型。

---

五、那个让所有模型都栽跟头的规律：格式越严，理解越差

OmniCap-IF最重要的发现之一，来自一项专门设计的对照实验。研究团队想弄清楚：如果你强制要求AI用非常严格的格式输出（比如标准JSON），它对视频内容的理解能力会受到影响吗？

为此，他们设计了一组实验，把格式要求固定分成三个递进层次，同时保持内容要求完全不变。第一层（宽松）是自然语言的段落或简单列表，比如普通文本、字数限制。第二层（风格化）是需要人工可读的视觉结构，比如Markdown表格、有序列表。第三层（句法化）是机器可读的严格语法规则，比如JSON数组、强制关键词。

结果是清晰且令人担忧的：随着格式层级从第一层提升到第三层，内容限制满足率在所有被测模型上都出现了持续且明显的下降。以Gemini-3.1-Pro为例，在宽松格式要求下，内容限制满足率约为70.9%；到了句法化格式要求下，这个数字下滑到了62.5%，下降了超过8个百分点。Qwen2.5-Omni-7B的下降更为明显，从53.3%跌至43.3%。

这个现象可以这样理解：当你要求AI同时填写一张格式严格的表格并且正确理解视频内容，它的"注意力"就被强制分成两部分——一部分用于应对语法规则（比如JSON的花括号要匹配、字段名要正确），另一部分才是用于理解音画内容。格式越复杂，消耗的注意力份额越多，留给实际内容理解的资源就越少，最终导致描述的准确性下降。

这一现象此前在纯文本大语言模型中曾有研究者观察到（要求用JSON格式思考时，模型的推理能力会下降），但OmniCap-IF的研究是第一次在多模态场景下系统地量化了这一效应，而且发现它在音画综合理解这种本已高度复杂的任务中尤为严重。

实际应用中，这意味着如果你在开发一个需要AI同时理解视频内容又要输出结构化数据的应用，直接要求模型"一步到位"地输出带格式的内容，可能会得到格式正确但内容不准确的结果。一种更可靠的解决思路是：先让模型自由地理解和描述内容，再单独进行格式转换，两步走可能比一步到位效果更好。OmniCaptioner-IF-54K的训练数据集生成过程正是基于这一思路设计的。

---

六、指令越复杂，模型越抓狂：复杂度的代价

除了格式-内容权衡的发现，研究团队还深入分析了另一个维度：当测试指令本身包含的限制条件越来越多时，模型的表现会如何变化？

答案几乎是直线下降。研究团队在一个经过专家筛选的1000道高质量题目子集上，分析了限制条件数量（3至4个、5至6个、7至8个、9至10个）对模型表现的影响。以Gemini-3.1-Pro为例，当题目只有3至4个限制时，指令满足率大约在30%左右；当限制增加到7至8个时，指令满足率骤降到接近0%附近。这意味着对于极端复杂的指令，即便是目前最强的商业模型也几乎没有能力同时满足所有要求。

指令的文字长度（即词数）也呈现出类似的规律：指令越长，模型越容易在某些细节上出错或遗漏。这与人类的认知规律有一定相似之处——当你同时被告知要做的事情太多，即使很认真也难免遗漏。

---

七、音画融合到底有多深：一个令人清醒的发现

研究团队还专门设计了一个"模态解耦实验"，来评估当前模型是否真正实现了视觉和听觉信息的深度融合，还是只是"各管各的"表面融合。

他们的做法是：针对同样一道原本包含音画综合限制的测试题，分别创建两个简化版本——一个只保留纯视觉限制（并且只提供视频画面），一个只保留纯听觉限制（并且只提供音频），然后把简化版本的得分与完整音画版本的得分进行对比。如果一个模型真正实现了音画融合，那么在完整音画版本中，它应该能利用视觉信息来帮助定位声音，也能利用声音信息来理解视觉内容，从而获得比单独使用单一模态更好的成绩。

结果出现了明显的模型分化。Gemini-3.1-Pro和MiniCPM-o-4.5展现出了明显的跨模态增益——在完整音画输入下，它们的听觉内容满足率比只提供音频时明显提升，说明这两个模型能有效地利用视觉线索来帮助理解和定位声音事件。

Qwen系列模型则表现出几乎没有跨模态增益，甚至有些指标在从单模态切换到双模态后略有下降——音视频同时输入反而带来了"信息干扰"。这说明Qwen系列模型目前处理双模态输入的方式更接近"两个独立通道分别处理，然后结果并列呈现"，而非真正意义上的深度融合推理。

这个发现对理解当前AI技术的实际状态很有价值：购买或部署支持音画联合输入的模型，并不等于就自动获得了深度的音画融合理解能力，模型背后的架构和训练方式决定了它实际上是否在做真正的跨模态推理。

---

八、另一个有趣发现：专用视频字幕模型不如通用模型

研究团队在实验中注意到一个反直觉的现象：专门为视频描述任务训练的模型（如ASID-Captioner-7B），在OmniCap-IF上的得分并不高于通用的全能模型（如Qwen2.5-Omni-7B），后者甚至在大多数指标上明显胜出。

这其实一点都不奇怪，一旦理解了OmniCap-IF在考什么。专用视频字幕模型的训练目标是"把视频内容描述得尽可能详尽和准确"，但从未特别训练过"按照用户给定的格式和要求有选择地描述特定内容"。就好比一个厨师做菜非常好，但如果客人说"我只要这道菜里的海鲜部分，不要蔬菜，而且分量不能超过100克，装在正方形的容器里"，这位厨师可能比不过一个虽然做菜没那么精，但特别擅长按客户要求定制菜品的厨师。OmniCap-IF考察的正是后者——按照复杂约束定制输出的能力，而非单纯的描述质量。

---

九、OmniCap-IF-54K训练集：如何教会AI按规矩办事

研究团队不仅仅停留在"发现问题"，还提供了解决方案——一个专门用于提升指令遵循能力的大规模训练数据集，包含54000条精心制作的视频-指令-回答三元组。

这个训练集的生成过程本身就体现了前面发现的"格式-内容权衡"洞察，采用了一套聪明的解耦生成策略。

首先是视频的筛选，团队从LLaVA-Video-178K和TikTok-10M两个大型视频数据集中，按照三个条件筛选出14000段高质量视频：时长在20至120秒之间（保证有足够的内容丰富度）、分辨率至少480P（保证画面清晰度），以及使用专门的音频分析工具PANNs检测声学密度（确保视频有足够丰富的声音环境，而不只是背景噪音）。

第二步是针对每段视频，先使用ASID-Captioner-7B生成一段详尽的音画描述文本，作为视频内容的"文字代理"（proxy caption）。有了这段文字代理，后续所有的指令生成和回答生成都可以基于文字来处理，减少了需要反复分析原始视频的计算开销。

第三步是基于文字代理进行"负向过滤"——检查每种限制类型的前提条件是否在视频内容中存在。比如，如果文字代理中没有任何描述音画不同步的内容，那么"音画时间定位"这个限制类型就会被排除在外，不会被用于这段视频的指令生成，从而避免生成要求AI描述根本不存在的现象的指令。

第四步是最关键的解耦生成策略。一旦确定了指令中的所有限制类型，系统不会直接要求AI一步完成所有要求，而是先把内容限制和格式限制分开。内容限制被进一步拆分成每次只包含2至3个限制的小任务，Gemini-3-Flash依次完成这些小任务并生成中间回答，所有中间回答被汇总成一个完整的内容草稿。然后在最后一步，才把格式要求应用于这个内容草稿，生成最终的训练样本。这种"先内容，后格式"的分离策略，确保了训练数据中内容的准确性不会被格式要求所牺牲。

对比验证表明，这种解耦策略比直接一步生成的方式在96.3%的情况下产生了更高质量的训练样本，充分证明了这一设计决策的价值。

---

十、训练出来的OmniCaptioner-IF：跨越了多大的鸿沟

基于OmniCap-IF-54K训练集，研究团队对Qwen2.5-Omni-7B和Qwen2.5-Omni-3B进行了参数高效微调（采用的技术叫做LoRA，它只调整模型中的一小部分参数，大幅降低了训练成本），分别得到OmniCaptioner-IF-7B和OmniCaptioner-IF-3B。

改进最为惊人的是格式控制能力。以时间戳格式为例，原始的Qwen2.5-Omni-7B在时间戳格式要求上的满足率仅有10.8%，意味着它几乎总是以错误的格式输出时间；微调后的OmniCaptioner-IF-7B把这个数字提升到了91.0%，提升幅度超过80个百分点。类似地，Markdown语法从28.6%跃升到71.4%（3B模型），分隔符要求从46.5%提升到83.7%（3B模型），JSON格式从60.8%提升到86.0%（7B模型）。

内容理解能力也有所提升。在音画时间定位这项原本最困难的任务上，7B模型从10.6%提升到了33.9%，视角描述（Perspective）也有明显进步。

在其他基准测试上的表现同样值得关注。在专注于视觉指令遵循的IF-VidCap基准上，OmniCaptioner-IF-3B（仅使用视频画面，不使用音频）超越了同等规模的纯视觉专用模型Qwen2.5-VL-Instruct-3B的所有指标，说明全能模态的指令遵循训练不仅没有损害视觉能力，反而还有所强化。在Omni-Cloze（一个考察细粒度音画感知的完型填空基准）上，OmniCaptioner-IF-7B的总体准确率达到25.17%，而原始基础模型Qwen2.5-Omni-7B只有12.90%，几乎翻倍。在UGC-VideoCap（一个基于问答的全面音画视频描述基准）上，OmniCaptioner-IF-7B的综合得分达到72.97，与Gemini-2.5-Pro（72.60）基本持平，而Qwen2.5-Omni-7B只有57.70。

从训练数据规模的分析来看，仅仅使用20K训练样本，模型就已经实现了相当大的跳跃——总体限制满足率从49.19%跃升至68.50%。从20K增加到40K，再增加到54K，提升逐渐放缓，说明54K这个量级对于当前模型规模来说处于较为合理的"最佳点"，再增加数量带来的额外收益会递减。

---

十一、与其他基准的横向对比：OmniCap-IF有何独特

将OmniCap-IF放在更宏观的背景下看，能更清楚地认识到它填补的空白。

在指令遵循类基准方面，IFEval（541道题，25种限制类型，平均每题1.54个限制）和FollowBench（944道题，5种限制类型，平均每题3个限制）等现有基准都只处理纯文本输入，没有任何视频或音频内容。IF-VidCap（1400道题，27种限制类型，平均每题6个限制）虽然已经扩展到了视频输入，但仍然只处理视觉信息，没有音频维度。OmniCap-IF在限制类型数量（50种）、平均限制数量（6.93个）和输入模态（完整音视频）三个维度上都实现了突破。

在音画理解类基准方面，video-SALMONN-2测试集（483道题，平均视频时长50.8秒）、UGC-VideoCap（1000道题，23.9秒）、Omni-Cloze（2340道题，34.2秒）等现有基准虽然都处理音视频联合输入，但它们关注的是模型在不受约束的情况下能生成多准确的描述，而非模型在接受复杂约束时能否按要求输出。OmniDCBench（1122道题，59.5秒）是其中最接近OmniCap-IF的一个，也支持时间定位，但同样没有指令遵循维度的评估。

---

结语

归根结底，这项研究做了一件看起来简单、实则复杂的事：它第一次认真地问了这样一个问题——"全能AI既能听又能看，但它真的能按照你的要求来告诉你它听到什么、看到什么吗？"

事实证明，答案目前还相当令人担忧。即使是最顶尖的商业模型，在被要求同时满足多个格式和内容限制时，也只有大约四分之一的题目能够完全答对。越是格式严格的要求，模型理解视频内容的能力就越打折扣。这个"格式越严，内容越差"的规律，对任何打算把AI模型用于结构化视频分析的人来说，都是一个需要认真对待的警告。

好消息是，有针对性的训练确实有效。用正确设计的训练数据（基于解耦策略生成，先内容后格式）微调过的模型，在格式控制上可以与最强的商业闭源模型相媲美，在内容理解上也有显著提升。这说明这个问题是可解的，只是需要在训练数据设计上下功夫。

OmniCap-IF基准已公开发布（可通过GitHub和Hugging Face访问，搜索NJU-LINK/OmniCap-IF即可找到），任何研究者都可以用它来测试自己的模型，推动这一领域持续进步。如果你对技术细节有兴趣，完整论文可通过arXiv编号arXiv:2606.08572查阅。

---

Q&A

Q1：OmniCap-IF基准测试的50种限制类型具体包括哪些内容？

A：OmniCap-IF的50种限制分为格式和内容两大类。格式类包括结构性限制（JSON对象/数组、表格、有序/无序列表、关键词包含/排除、时间戳格式）和风格性限制（Markdown语法、前缀后缀、分隔符、字数限制、数量限制、大小写、语言要求）。内容类则覆盖纯视觉维度（实体属性、事件动作、电影语言、叙事视角等）、纯听觉维度（声音属性、音频事件、音频制作结构等）以及最难的音画综合维度（因果关系、画内外声源判断、剪辑转场分析、时间定位等），共50种类型。

Q2：格式-内容权衡困境是什么意思，对实际使用AI有什么影响？

A：这个困境指的是：当你要求AI用越严格的格式输出（比如JSON格式），它理解视频内容的准确性就越差。实验显示，从宽松自然语言格式到严格JSON格式，内容准确率下降了8至10个百分点。原因是格式规则会占用模型的"处理资源"，分走本来用于理解视频内容的注意力。对实际应用的影响是：如果你需要AI既理解复杂视频内容又输出结构化格式，最好采用两步走——先让模型自由理解描述，再单独进行格式转换，而非要求模型一步完成。

Q3：OmniCaptioner-IF模型和原始Qwen2.5-Omni模型相比，改进最大的地方是什么？

A：改进最大的是格式控制能力，尤其是时间戳格式。原始Qwen2.5-Omni-7B的时间戳格式正确率仅10.8%，微调后的OmniCaptioner-IF-7B提升至91.0%，提升幅度超过80个百分点。Markdown语法、分隔符要求和JSON格式也都有大幅提升。在内容理解方面，音画时间定位从10.6%提升到33.9%，整体内容满足率也显著改善。在外部基准上，OmniCaptioner-IF-7B在UGC-VideoCap上达到了与Gemini-2.5-Pro相当的水平，在Omni-Cloze上的准确率几乎翻倍。