给AI喂一张照片，它就能让照片里的人做出你指定的动作：这事到底靠不靠谱？

先说一个可能颠覆你认知的事实。

现在市面上那些号称"万能"的AI视频生成模型，比如Kling、Seedance、Gemini这些明星产品，在处理最基础的任务时，其实做得还不错，但一旦你让它们同时处理两三种不同类型的参考素材，比如一张人物照片加一段动作视频，再加一张风格参考图，它们的表现会突然崩塌。

这不是我瞎猜的。腾讯在线视频事业部联合香港科技大学（广州）做了一项系统性测试，专门测这些模型在复杂场景下的真实水平，结果发现几乎所有顶尖模型在"多参考融合"这类任务上都掉了链子，掉幅甚至超过30个百分点。这篇论文的名字叫OmniVBench，今天我们就聊聊这背后到底发生了什么。

**核心问题：现在评价AI视频生成的方式，可能一直都不太对**

要理解这个问题，得先搞清楚一件事：什么是"参考到视频生成"（Reference-to-Video generation，简称R2V）？

**参考到视频生成**：给AI提供一张或多张图片、视频作为"参考"，让它按照这些参考里的内容（比如某个人的长相、某个动作、某种画风）生成一段新视频，而不是单纯靠一句文字描述凭空生成。

这几年这个技术进化得很快。最早的时候，AI只能做"单一参考"的任务，比如给一张人脸照片，让AI生成这个人说话的视频。后来技术慢慢升级，开始支持"组合参考"，比如同时给人脸和动作视频，让AI把两者结合起来。这个更高级的阶段，业内称之为"全能参考生成"（Omni R2V）。

问题来了：怎么判断一个AI模型在这些复杂任务上做得好不好？

在OmniVBench出现之前，业内已经有几个评测基准了，比如OpenS2V-Eval、VACE-Bench、UniVBench。但研究团队发现这些评测存在两个明显的短板。

第一个短板是测试题型太窄。你去翻这些基准的题库会发现，它们绝大多数题目都在考"内容参考"，就是给个人物或物体照片，看AI能不能保持这个人物或物体的样子不变。至于动作参考、镜头运镜参考、画风参考、结构参考（比如给一张线稿让AI补全成完整画面）、叙事参考（比如给几个分镜让AI续写故事）这些更精细、更贴近真实创作场景的任务，几乎没怎么覆盖。这就好比你想考察一个厨师的综合水平，结果考卷上90%的题目都是"怎么切土豆丝"，至于炖汤、烤鱼、摆盘这些真正体现功力的环节完全没考到。

第二个短板更隐蔽，也更要命：评测方式太粗糙。

现有的评测方法大多是让一个AI裁判（通常也是一个大模型）看一眼生成的视频，整体打个分，判断"像不像参考素材"。但这种打分方式完全没有回答一个关键问题：AI到底有没有搞懂哪些信息该保留，哪些该改，哪些参考对应哪个生成目标？

举个具体的例子。假设你给AI一张照片，让它把照片里"戴白色安全帽的男人"作为主角，再给一张手提包照片，让AI把手提包上的花纹用在男人的工作背心上。这个任务里藏着好几层要求：AI得先在照片里找到那个戴白帽子的人（而不是照片里其他人），得把手提包这个"物体"本身过滤掉，只提取"花纹"这个属性，还得把花纹准确地贴到背心上而不是贴到别的地方。

如果AI裁判只是笼统地打一个"像不像"的分数，它根本测不出AI是不是把花纹错贴到了裤子上，或者干脆把整个手提包也画进了视频里。这种"眼力不够精细"的评测方式，会让很多真实存在的问题被掩盖掉。

**引用块**：VLM（视觉语言模型）：一种能同时理解图像和文字的AI模型，常被用作评测其他AI生成内容质量的"裁判"。

正是这两个问题，让研究团队决定重新造一套评测体系，这就是OmniVBench的由来。

**OmniVBench怎么造：把任务拆成7大类18小类**

OmniVBench最核心的设计思路是把"参考"这件事按照它控制的对象拆解开来，一共分成五大类单一参考，再加两大类多重参考，总共7个任务家族，细分下来是18个具体任务，覆盖813个评测案例。

内容参考这一类，测的是AI能不能保住"看得见的东西"不变形，比如物体、人物、场景。这里面又细分成很多层次，比如物体参考要区分"整体身份"（这就是那把椅子）、"材质"（这个是木头做的）、"图案"（表面有格子花纹）、"局部"（只看椅子腿的形状）。人物参考更复杂，要测单视角识别、多视角识别、自定义修改（比如换套衣服但保留长相）、还有一种叫"属性定位参考"的，就是给一张多人合照，让AI通过文字描述（比如"戴白头巾的那个"）准确找出目标人物再保持TA的身份。

**引用块**：属性定位参考：给AI一张包含多个候选目标的图片，让AI根据文字描述先"定位"出正确的目标，再对这个目标做后续处理，这一步测试的是AI的理解和筛选能力，而不只是复制能力。

运动参考这一类专门测"动"的信息能不能被正确提取和转移。这里分成动作参考和镜头运动参考两种。动作参考是给一段视频，让AI把里面人物的动作（比如跳舞、格斗）转移到另一个完全不同的人身上，同时不能把原视频里那个人的长相、背景也一起带过来。镜头运动参考更细致，测的是推拉摇移这些运镜手法，AI得能识别出"这是个变焦拉近"还是"这是个环绕镜头"，然后在生成新视频时复现这种运镜方式。

风格参考测的是AI能不能把一张图片的"画风"（比如水墨画、赛璐璐动画风、蒸汽波风格）套用到全新的内容上，而不是把原图里的具体物体也一起搬过来。

结构参考是个挺有意思的类别，它给AI的不是完整的画面，而是"骨架"，比如线稿、灰模（一种只有大致轮廓和明暗、没有细节的3D模型渲染图）、粗糙的分镜草图。AI得从这些残缺的信息里推断出完整的姿态、场景布局、动作节奏，再把材质、光影这些细节补全。

叙事参考则是最考验"理解能力"的一类，包括多格分镜（给一组连环画式的画面，让AI推断出故事的先后顺序和人物关系）、故事参考（给一整段视频当作剧情模板，让AI换个人物换个场景但保持故事逻辑）、续接镜头（给前一个镜头，让AI生成逻辑通顺的下一个镜头）。

除了这五大单一参考类别，OmniVBench还专门设了两个多重参考类别，这也是这篇论文的一大亮点：多内容参考和跨维度参考。

多内容参考测的是AI能不能同时处理好几个"各管一段"的参考素材，比如一张人物照片、一张物体照片、一张场景照片，AI得把这三者正确地组合进同一个视频里，谁也不能顶替谁的位置。

跨维度参考更狠一些，它把内容参考和动作、风格、结构、叙事这些其他维度混在一起考。比如给一张人物照片和一段完全不相关的人的动作视频，让AI提取人物照片里的长相，套上动作视频里的动作。这种任务对AI的"解耦能力"要求极高，因为它必须精确地知道哪个参考负责哪个方面，绝不能互相干扰。

这里其实藏着一个挺深刻的设计逻辑。你可以把它想象成一个厨房里的分工问题：如果你让一个厨师同时处理十种食材，但只告诉他"做一道好吃的菜"，他很可能会把该切丝的食材炖烂了，该炖烂的食材切成了丝，因为他根本不知道每种食材该被怎么处理。但如果你明确告诉他"胡萝卜切丝、土豆炖烂、青菜焯水"，他才能真正把每种食材用在该用的地方。跨维度参考任务考的就是这种"分工明确度"，如果AI做不到这一点，生成出来的视频就会出现张冠李戴的问题，比如把风格参考里的具体内容也画进去了，或者把动作参考里的原始人物长相也带出来了。如果不设计这类任务专门去测，很多模型看起来"整体还行"，但实际上内部的信息处理逻辑是混乱的，这种混乱只有在复杂组合场景下才会暴露出来。

**因子级评测：不再只看"像不像"，而是拆开来一项项打勾**

前面提到，现有评测方式最大的问题是"太粗糙"，只给一个整体印象分。OmniVBench为了解决这个问题，设计了一套叫"因子级评测"的方法，核心思路是给每个测试案例量身定做一份检查清单，而不是用一套通用标准去套所有案例。

整个评测体系分成三大维度：参考保真度、指令实现度、视频质量。

**引用块**：参考保真度（Reference Fidelity，简称RF）：衡量生成视频有多忠实地保留或转移了参考素材里该保留的信息，比如人物长相有没有变、动作轨迹对不对、画风像不像。

参考保真度下面又细分成内容、结构、动作、风格、叙事五个子维度，但并不是每个案例都要测全部五项，只测这个案例真正涉及到的部分。比如一个纯风格参考任务，就不需要测动作保真度，因为压根没这个要求。

指令实现度这个维度更有意思，它拆成两块：一块叫"参考因子解耦与路由"，一块叫"目标合规性"。

**引用块**：参考因子解耦与路由（IRDR）：检验AI是不是准确地把参考素材里"该拿的信息"和"不该拿的信息"分开了，并且把拿到的信息正确地送到了该去的地方。目标合规性（IRTC）：检验文字指令里明确要求的操作，AI是不是真的做到了。

举个具体例子来说明这两者的区别。假设指令要求"把参考图片1里的花纹用在参考图片2里角色的衣服上"，如果AI生成的视频里角色确实穿上了带花纹的衣服，那目标合规性这一项就算过了。但如果仔细一看，AI把参考图片1的整个背景也一起画进去了，或者把花纹错贴到了裤子而不是衣服上，那"解耦与路由"这一项就出了问题，尽管从表面上看，"衣服上有花纹"这个大方向似乎是对的。

这个区分特别关键，因为论文的实验数据显示，很多模型在这两个指标上表现出明显的割裂。比如某些开源模型，目标合规性能打到70分以上，但解耦与路由却只有20多分，这说明它"大概听懂了要做什么"，但完全没搞清楚"信息该从哪里拿、该放到哪里去"。这种割裂如果只用一个整体分数来衡量，是完全看不出来的。

评测最后一个维度是视频质量，这个相对简单，用了三个成熟的自动化工具来打分：技术质量用DOVER++的技术分支来测清晰度和噪点这些底层画质问题，美学质量用Aesthetic Predictor V2.5来测构图和色彩这些审美层面的东西，物理合理性用UnifiedReward 2.0的相关维度来测画面里有没有违反物理规律的穿模、扭曲。

为了验证这套复杂的评测体系是不是真的靠谱，研究团队专门找了三名人类标注员，对100个测试案例的965份模型输出结果做独立打分，然后拿人类打分和AI自动评测的结果做对比。结果显示，两者的相关性相当高，皮尔逊相关系数在参考保真度上达到0.81，指令实现度0.78，视频质量0.86。更重要的是，团队还做了一个消融实验，对比"因子级检查清单"和"笼统整体打分"这两种评测方式跟人类判断的一致性，结果因子级方法的斯皮尔曼相关系数是0.77，笼统打分只有0.67。这10个百分点的差距，恰好证明了拆解式评测确实比笼统印象分更贴近人类的真实判断。

**Omni-R2V数据集：34万条训练素材是怎么"造"出来的**

评测标准有了，但另一个更棘手的问题摆在眼前：训练数据从哪来？

要训练一个能处理各种复杂参考组合的AI模型，你得先有对应的训练素材，也就是"参考素材加目标视频"的配对样本。但现实情况是，市面上能公开获取的这类数据集要么规模太小，要么种类太单一。论文里对比了三个知名数据集：OpenS2V-5M有540万条样本，但只覆盖内容参考这一类；Phantom-Data有100万条，覆盖面也差不多局限在内容层面；MuSS只有3万条。这些数据集普遍存在的问题是，它们几乎都是围绕"内容参考"这一个维度打转，动作、风格、结构、叙事这些维度基本是空白。

这就好比你想教一个学生学会各种菜系的烹饪手法，结果手里的教材99%的篇幅都在讲怎么切菜，至于火候控制、调味搭配这些真正体现厨艺的部分完全没教过。

腾讯团队为此专门造了一个新数据集，叫Omni-R2V，一共包含约34万条处理好的训练样本，覆盖了前面提到的7个任务家族，视频素材主要来自一个大规模的专业视频素材库，同时补充了一些公开数据。这个数据集视频类型也挺丰富，包括真人实拍、2D动画、3D动画三种，片段时长最长能到20秒，分辨率覆盖480p到2160p以上，其中1080p和2160p以上占了大头。

造这么大规模、这么多样化的数据集，最大的难点在哪？

论文里说得很直白：不同任务需要完全不同的构造方法来建立参考和目标之间的对应关系。你没法用一套流程"一劳永逸"地生成所有类型的训练数据，因为内容参考需要的是找到"同一个人在不同视频里出现的片段"，而动作参考需要的是"把动作从A身上转移到B身上"，这两者的技术路径完全不同。

具体是怎么解决的？研究团队设计了两条互补的构造策略：跨片段匹配和逆向构造。

**引用块**：跨片段匹配：从已有的视频库里，根据任务需要的关系（比如同一个人物、同一种画风）去检索匹配的参考片段或画面。逆向构造：反过来从目标视频出发，通过提取（比如提取线稿、提取深度信息）或者生成（用其他AI模型重新画一版）的方式，人工"造"出一个参考素材，同时保留任务所需的关键信息，弱化或简化其他不相关的信息。

以内容参考为例，团队会先给定一个目标片段，去检索其他包含同一个人物的片段，从中挑选姿态、服装、场景都不同的画面作为参考，这样保证参考和目标之间"身份一样，但外观信息足够多样"，不会让AI偷懒地直接照抄画面。

动作参考的构造更有技术含量。团队先根据目标视频里人物的空间位置、朝向、体型这些粗略特征，从一个大规模图片库里检索出一个"体型兼容"但长相完全不同的角色图片，然后用一个叫Wan-Animate的工具把目标视频里的动作"移植"到这个新角色身上，这样生成出来的动作参考视频，动作和目标一致，但人物长相完全不同，正好符合"只学动作不学脸"这个任务需求。

镜头运动参考的数据来源就更丰富了，一部分是在虚幻引擎里直接合成带有精确控制的运镜轨迹，一部分是从真实视频里用一个叫π?的相机姿态估计模型反推出运镜轨迹，再去检索运镜模式相似的其他视频，还有一部分是先从目标视频里提取运镜轨迹，再用内部的相机可控生成模型合成新内容但保留同样的运镜方式。

结构参考里的线稿数据构造得也挺讲究。团队用了12种不同的边缘提取算法，包括经典的Canny梯度边缘检测、基于深度学习的HED、PiDiNet、TEED，每个视频片段固定用一种提取器，保证整个片段风格一致。有一半左右的样本还会做颜色反转处理，一部分是黑底白线，一部分是白底黑线，增加多样性。灰模参考则是个两阶段流程：先把视频第一帧编辑成灰模风格（就是那种只有几何轮廓、没有细节纹理的样子），再结合从原视频提取的深度信息，用Wan2.2-VACE-Fun-A14B这个模型生成一段完整的、结构和运动都和原视频一致的灰模视频。

叙事参考里的续接镜头数据，是先用TransNetV2这个镜头边界检测工具把视频切成一个个独立的镜头，再让Gemini-3.1-Pro这个多模态大模型去判断相邻两个镜头之间的场景一致性、人物一致性、动作连贯性和叙事连贯性够不够高，只有通过检验的镜头对才会被保留下来，前一个镜头作为参考，后一个镜头作为目标。

素材造好之后，还有最后一步：怎么给每份训练样本配上合适的文字指令？这一步是用Gemini-3.1-Pro先分别给每个参考素材和目标视频写详细的图片或视频描述，再用DeepSeek-V4-Pro把这些描述按照任务特定的规则转换成一条完整的训练指令，指令里会明确指出每个参考素材扮演什么角色，以及它和目标视频里哪个部分对应。

为了验证造出来的数据质量到底靠不靠谱，团队又做了一轮人工抽检，从7个任务家族里各抽取约100个样本，两名标注员独立打分，检查三项内容：参考素材信息是不是清楚可用、目标视频是不是真的正确反映了参考里该保留的信息、指令描述是不是准确对应了各参考的角色。整体通过率达到95.5%，其中风格类任务通过率最高，达到98.2%，运动类任务相对最低，也有89.7%。这个数字说明整套构造流程虽然复杂，但产出的数据质量是有保障的。

**实测结果：没有一个模型能全能通吃**

数据和评测体系都准备好了，研究团队拿这套东西去实测了目前市面上最主流的11个AI视频生成模型，包括开源的UniVideo、OmniWeaving、LoomVideo、Bernini、MiniMax H3，以及闭源的Vidu-Q2-Pro、Kling 3.0 Omni、Happy Horse 1.0、Gemini Omni、Seedance 2.0、Seedance 2.5。

先说一个整体印象：开源模型和闭源模型之间的差距，比大家想象中要小得多。开源阵营里表现最好的MiniMax H3，总分拿到72.41，已经能和顶级闭源模型正面掰手腕，Seedance 2.5的总分是72.68，两者差距只有0.27分，几乎可以忽略不计。这在几年前是很难想象的，那时候开源模型和顶级闭源模型之间往往有明显的代差。

但更值得琢磨的是另一个现象：目前市面上没有任何一个模型，能在所有任务类别上都保持领先。

从表格上看，内容参考这一项普遍分数都比较高，大部分模型能打到70分以上，Seedance 2.0甚至拿到79分。但一转到运动、风格、结构、叙事、多重参考这几类，分数波动就明显拉大了。比如运动参考这一项，UniVideo只有44.52分，而Seedance 2.5能拿到66.10分，两者相差超过20分。这说明什么呢？说明"能保住人物长相不变"这件事，已经算是这一代AI模型的基本功了，但"能理解并转移一段动作"，或者"能读懂一个故事的结构并续写"，这些更高阶的能力，各家模型的水平参差不齐，进步的路径也各不相同。

论文里进一步把参考保真度这一大类拆解开来看，做了一组雷达图，横向对比了每个模型在内容、结构、动作、风格、叙事这五个子维度上的表现。结果显示，"内容保真度强"完全不能推导出"动作保真度也强"，这两者几乎是两码事。有的模型内容维度做得很扎实，但一到动作或叙事维度就明显掉链子，说明这两种能力背后的技术挑战是相对独立的，一个模型练好了A能力，未必自动就学会了B能力。

指令实现度那张细分表格的数据更有意思。前面提到的解耦与路由（IRDR）和目标合规性（IRTC）这两个子指标，在多内容参考和跨维度参考这两类高难度任务上，差距被放得特别大。比如UniVideo在跨维度参考任务上，解耦与路由只有53.23分，目标合规性是53.92分，两者都不高，说明这个模型在复杂组合场景下确实力不从心。而表现最好的Gemini Omni，两项分别是91.67和90.13，都相当均衡。这个数据也印证了前面说的那个道理：一个模型"表面上听懂了指令"和"真正理解了每个参考该管什么"，是完全不同的两件事，只有细粒度评测才能把这个差异挖出来。

|模型|内容|运动|风格|结构|叙事|多内容|跨维度|总分|

|---|---|---|---|---|---|---|---|---|

|UniVideo|66.01|44.52|47.40|48.84|36.97|58.00|46.09|49.69|

|OmniWeaving|62.23|50.58|41.40|63.19|38.03|47.49|39.25|48.88|

|LoomVideo|61.24|52.09|42.03|62.53|46.98|49.02|44.86|51.25|

|Bernini|69.27|55.92|50.62|69.44|42.02|60.32|51.03|56.95|

|MiniMax H3|78.86|65.32|66.24|72.94|73.90|77.22|72.36|72.41|

|Vidu-Q2-Pro|71.87|47.65|59.87|51.81|50.68|72.07|62.21|59.45|

|Kling 3.0 Omni|75.99|64.20|55.90|71.12|68.59|75.98|68.33|68.59|

|Happy Horse 1.0|75.90|68.58|65.62|69.46|72.34|74.62|69.71|70.89|

|Gemini Omni|75.02|62.25|**69.24**|70.13|**75.11**|73.36|70.18|70.76|

|Seedance 2.0|**79.00**|63.05|63.73|68.36|73.76|76.63|71.83|70.91|

|Seedance 2.5|78.88|**66.10**|67.13|**73.35**|73.97|**77.77**|**72.36**|**72.68**|

**写在后面**

看完这篇论文，一个让我反复琢磨的细节是那份"因子级检查清单"的设计逻辑。它本质上在提醒我们一件容易被忽略的事：一个AI系统"看起来做对了"和"真正理解了任务结构"，中间的距离可能远比我们想象中要大。

之前很多评测体系满足于"整体像不像"这种模糊判断，某种程度上是因为拆解成本太高，需要人工为每个案例设计专属的检查项。但这篇论文的实验数据说明，这种偷懒式的评测方式，会系统性地掩盖模型的真实短板，尤其是在多参考组合这种复杂场景下，笼统打分和精细拆解打分之间差出的10个百分点相关性，其实代表着大量被漏检的真实问题。

另一个值得单独拎出来说的地方是那组用Wan-Animate构造动作参考数据的思路，先按体型粗筛角色再做动作迁移，这个"先保证物理兼容性，再做内容替换"的两步走策略，其实是个挺聪明的工程妥协。它没有奢望一步到位生成完美的训练对，而是承认了现有工具的局限，用一个中间步骤去凑出一个"足够好用"的数据样本。这种务实的态度，可能比追求理论完美更值得工业界借鉴。

如果你现在正在用某个AI视频生成工具，试着给它同时喂三种不同的参考素材，看看它是不是真的能把每种信息放对地方，还是悄悄把某个参考的内容也顺带塞了进去。这个小实验，或许比看任何评测榜单都更能告诉你，这个模型到底走到了哪一步。

Q&A

Q1：OmniVBench是什么？

A：OmniVBench是腾讯在线视频事业部联合香港科技大学（广州）推出的一个AI视频生成评测基准，专门用来测试AI模型在处理内容、动作、风格、结构、叙事等多种参考素材组合任务时的真实表现，一共包含7大任务家族、18个细分任务和813个评测案例。

Q2：Omni-R2V数据集能用来做什么？

A：Omni-R2V是一个约34万条样本的大规模训练数据集，覆盖内容、动作、风格、结构、叙事等多种参考类型及其组合，可以直接用于训练能处理复杂多参考任务的AI视频生成模型，省去了研究者自行构造训练数据的麻烦。

Q3：现在的AI视频生成模型在哪类任务上表现最差？

A：根据论文实测数据，各模型在内容参考类任务上普遍表现较好，但在运动、风格、结构、叙事以及多参考组合类任务上差距明显拉大，尤其在需要同时处理多种参考信息并正确分配的跨维度任务中，很多模型会出现信息混淆的问题。