{视频有画面了，声音也有了，但AI打分却说这俩都很好：一个用人类偏好训练出来的"评委"，如何让视频生成模型不再自欺欺人}

你有没有想过这样一个场景：你让AI生成一段视频，画面里有个人在讲话，声音也配上了，看起来还挺像那么回事。可你越看越觉得不对劲，这个人的嘴型和说出来的话根本对不上，声音的情绪和画面里的表情也是两副心思。可如果你去问那些专门用来打分的AI评测工具，它们却告诉你：画质很好，音质也不错，同步性也过关。

这不是段子，这是2026年前后视频生成领域正在真实发生的事。

一群来自复旦大学和相关机构的研究者们发现了这个问题的根子，他们做的这件事，说白了就是想造一个更懂人心的评委。这篇论文的名字叫VA-Judger，它想解决的问题看似很小,给AI生成的视频音频打分,但往深了挖,其实牵涉到整个生成式AI训练的一个核心矛盾。

核心问题：评分标准和人的感受，早就走岔路了

先说说现在的AI是怎么学会生成视频配音频的。

这类模型统称为联合视频音频生成模型

联合视频音频生成模型：一种可以同时生成画面和声音的AI模型，不像早期的视频生成只管画面，音频另外配，这类模型要让声音和画面从生成的那一刻就是一体的

这些模型训练到一定阶段后，光靠原始的训练数据已经不够了,研究者们希望用强化学习进一步打磨模型的表现，让它更贴近人的喜好。这就带来一个绕不开的问题:强化学习需要一个打分的老师，告诉模型这次生成得好不好，好在哪，差在哪。这个打分的老师，学术上叫奖励模型。

强化学习：一种训练方法，让AI通过不断尝试、根据反馈调整自己的行为，反馈通常来自一个打分机制，分高就多学，分低就少学

现在业内的做法是，把打分这件事拆成好几个专门的小考官。一个专门看画面好不好看，一个专门听声音干不干净，一个专门测声音和画面对不上嘴的程度有多严重，最后把这几个分数加在一起。听起来挺合理，分工明确嘛。

但论文里举了个特别典型的例子。论文开头那张图里，两段视频描述的是同一个客厅场景，Video 1和Video 2放在一起对比。所有的自动化专家指标一致判定Video 1更好，可是当研究者们真正用人类的眼睛和耳朵去看这两段视频时，几乎所有人都觉得Video 2更胜一筹，因为Video 2里的对话更贴合文本要求的引用内容，人物的口型和肢体动作也更自然，声音清晰不失真。而Video 1呢，声音是扭曲的，虽然画面质量两者打平，但整体的完整性和可理解性差了一大截。

自动化指标全部站在了人类判断的对立面。这不是偶然,论文里给出的量化数据显示，这些独立评测指标预测人类偏好的准确率普遍徘徊在50%到57%之间，也就是说,和瞎猜掰硬币的水平相差不大。表现最好的VideoAlign指标，在简单样本上还能有62.39%的准确率，可一旦碰到没见过的模型生成的样本，直接掉到48.35%,比随机猜测还差。

这个准确率意味着什么。假设你有100对视频音频样本让VA-Judger和某个专家指标分别去判断哪个更好,专家指标能答对的次数还不到六成，而这个指标本来是被设计出来专门干这件事的。这就好比雇了一个专职品酒师，结果他给红酒打的分和普通消费者的口味相关性只有一半略高一点,这样的品酒师你敢信吗。

问题出在哪儿。论文分析得很清楚，每个单一指标只盯着自己那一块看，完全没有跨模态的整体视角。

举个例子，VideoAlign这个指标专门评估画面质量、动作和文本对齐，它压根不接收音频输入,你让它去判断音画协调，它根本没这个能力,就像让一个耳背的人去评判一场演讲的语气抑扬顿挫,他能看到讲者的表情动作，但完全听不到声音里的情绪波动，这种评判天生就是残缺的。

AudioBox这类音频质量指标则反过来，它只关心生成出来的音频听起来干不干净、悦不悦耳，但从来不去核对这段音频跟画面里发生的事情是否匹配,一段配乐哪怕做得很精致，如果画面里明明是安静的深夜场景却配上了喧闹的市集背景音，AudioBox照样能打出高分,因为它压根不知道画面里发生了什么。

CLIP Score和ImageBind这类做跨模态相似度的指标，则容易被表面的语义相关性糊弄过去。它们衡量的是整体向量空间里的相似程度，这种全局的相似性经常会忽略掉局部的生成瑕疵，比如某个物体突然消失又出现，或者声音出现的时间点和画面动作对不上,这些细节层面的破绽，往粗放的相似度里一平均，很容易就被抹平了。

如果继续沿用这套拆分打分的思路去训练模型会怎样。答案已经写在了这篇论文引用的另一项工作OmniNFT里,这是目前唯一一个把强化学习用在联合视频音频生成上的方法，它的做法正是组合多个专家指标当奖励。论文的实验结果显示，用OmniNFT训练出来的模型，确实能在某些被优化的指标上表现出色,比如声音和画面的时间同步性DeSync这个指标提升明显，但当真正找人来做整体好坏判断的时候，OmniNFT得到的人类偏好票数只有27.63%，远远落后于用VA-Judger训练出来的模型的62.30%。

这就是典型的奖励作弊现象

奖励作弊：指模型学会了钻营评分规则的漏洞，在被用来打分的那几个具体指标上表现得越来越好，但整体质量和用户的真实体验却没有同步提升，甚至可能更差

模型很聪明，它会找到让每个专家指标都打出高分的捷径，却不代表它真的理解了什么叫一段好的、连贯的、有说服力的视频音频内容。这就像一个学生发现了每门课的评分漏洞,数学课只考选择题他就死磕蒙题技巧，作文课字数够了就能过线,他每门课分数都不低，但你要说他真的学明白了知识，恐怕未必。

VA-Judger要解决的，正是这个从碎片化打分到整体判断的鸿沟。

第一步：先攒一批人真正用心看过的数据

想让AI学会像人一样打分，第一件事是得有人类真实的偏好数据。这事说起来简单，做起来极其费劲。

研究者们没有偷懒去用现成的AI批量造一批文本描述当训练素材，而是从YouTube、B站、电影、电视剧里搜集了10173段真实的视频音频片段，把它们剪成5到10秒的短片段，归到六个大类里,多人对话、旁白叙述、音乐、影视氛围、环境事件和访谈。

为什么非要从真实世界的视频里提取素材，而不是让大语言模型直接编一些场景描述出来。这里有个很关键的道理:真实拍摄的视频里，声音和画面之间的关系是自然生长出来的，人说话时嘴型跟声音天然对应，物体碰撞的声音跟画面里的动作时间点是同步的，这种真实存在的跨模态联动，是编出来的文字很难凑出来的。

这就好比你想教一个学徒厨师怎么判断菜好不好吃，你给他看真实顾客吃饭时的反应视频，比你给他念一份写好的评价文案要靠谱得多，真实反应里那种皱眉、点头、放慢咀嚼的细节，是编不出来的，而这些恰恰是判断好坏最重要的信息。如果不这样做，训练出来的评委学到的只是文字描述里那些套路化的好词好句，遇到真实世界里那些意料之外的音画搭配，它就会判断失灵。

拿到这些真实视频后,研究者用Qwen3.5-Omni这个多模态模型给每段视频打上详细的字幕描述，但这些字幕带着密密麻麻的时间戳标记，格式太复杂，不适合直接拿去喂给视频生成模型当提示词，于是又用另一个语言模型把这些描述重新改写成连贯自然、适合直接生成用的文本提示，最终得到了10083条有效的文本提示。

接下来是最考验设计功力的一步:怎么配对比较样本。

研究者们发现，如果所有的对比样本都是差距明显的一眼能分出高下的那种，模型学不到细腻的判断能力,而如果全都是势均力敌、差距极其微妙的样本，模型连基本的打分格式和判断逻辑都学不扎实，会陷入混乱。

于是他们把配对样本分成了两个池子。容易组包含4.4K对样本,主要是拿质量明显偏弱的OVI模型和质量明显更强的LTX-2模型生成的结果去对比，多人对话和旁白类的场景里还额外加入了DaVinci-MagiHuman这个在人物语音生成上表现出色的模型作对照。这些样本差距足够大，一眼能看出优劣。

困难组则包含9.8K对样本,大多是同一个模型、同一个提示词，只是换了不同的随机种子生成出来的两个版本,这种情况下差距极其细微，需要仔细盯着画面和声音的每个细节才能分辨优劣。

这种从易到难的训练顺序，学术上叫课程学习

课程学习：一种模拟人类学习规律的训练策略，先让模型接触简单明确的样本掌握基本框架，再逐步过渡到复杂模糊的样本磨练细节判断能力，就像学骑自行车先在平地练平衡，再去爬坡挑战

如果反过来，一开始就把最难分辨的样本扔给模型，它可能连基本的输出格式都学不明白，就像让一个刚学骑车的孩子直接去爬陡坡，摔得四脚朝天不说，还容易对骑车这件事彻底失去信心。

第二步：三阶段训练，让AI学会像人一样有条理地打分

有了数据，接下来就是怎么把一个通用的多模态大模型，一步步教成一个懂行的评委。研究者选择的底座是Qwen3-Omni

Qwen3-Omni：一个能同时理解文字、图像、音频等多种信息的开源多模态大模型，具备处理跨模态任务的基础能力,这里被拿来当作VA-Judger的起点，再经过针对性训练变成专门的评审模型

整个训练过程分了三个阶段，每一步都在解决前一步留下的具体问题。

第一阶段是简单样本冷启动。这个阶段的目标不是让模型判断得多准，而是先教它按照固定的格式来输出答案。研究者要求模型对每一段视频，从五个维度分别打分,分别是提示词匹配度、音画一致性、音频质量、视频质量,还有内容完整性,每个维度打1到10分并给出理由，最后汇总成总分，给出最终结论。

这个五维度打分格式本身就是一种巧妙的设计。它强迫模型不能笼统地说这个视频好或不好，而是必须逐项拆解,像不像题目要求的、声音画面搭不搭、声音干净不干净、画面清不清晰、整体完不完整。这种拆解迫使模型在思考过程中把复杂的判断问题分解成若干可操作的小问题，这跟人类专家评审一份复杂材料时的做法是一样的，谁会一上来就直接给个总分，都是先拆开各个维度过一遍再综合。

这个阶段的标注答案由谷歌的Gemini 3.1 Pro生成，研究者做了一个200对样本的小规模试验，发现Gemini在简单样本上和人类判断的一致率能达到80%，用它来生成训练用的标注答案是划算的，省去了大规模人工标注的成本。

第二阶段是困难样本的人工校准。这个阶段变得非常谨慎，因为同样是那200对样本的试验里，Gemini在困难样本上和人类的一致率只有60%,意味着有四成的判断可能是错的。既然VA-Judger的最终目的是要贴近真实的人类主观感受，那这个阶段绝对不能再依赖AI自己的判断，必须换成真正的人来标注。

标注员会看每一对困难样本，选出更好的那一个，同时指出是哪些维度支撑了这个判断。但问题来了,人工标注只能给出最终的选择结论和理由方向，没法生成那种完整的、带详细分析过程的训练文本。这时候研究者用了一个很聪明的折中办法,叫做拒绝采样

拒绝采样：让AI针对同一个问题生成多个候选答案,然后用某个标准去筛选，只保留符合标准的答案，不符合的直接丢弃,这里的标准就是AI生成的最终结论是否和人工标注的结论一致

具体做法是,让Gemini继续生成带完整分析过程的判断文本，但这一次只保留那些最终结论和人类标注员一致的答案，凡是Gemini自己判断错了的，全部扔掉不要。这样一来，既保留了详细分析过程这种训练所需要的格式，又确保了最终结论是被人类验证过的，最后筛出了4.5K条可信的训练样本。

这一步的设计逻辑其实很朴素:借用AI的表达能力，但校准判断的准确性用人。这就好比一个新入职的产品经理写周报，文笔和逻辑框架可以先照着模板套，但最终这个决策对不对，还是得老板来点头,你不能因为报告写得漂亮就认为决策一定是对的，格式和内容的正确性是两件事，要分开把关。

第三阶段是维度化的强化学习，这也是整篇论文技术含量最高的一步。前两个阶段本质上都是模仿学习,让模型去照抄标准答案的风格和结论。但模仿学习有个致命的缺陷,论文里说得很直白:模型完全可能学会一套看起来很像样的分析文字，五个维度打分一项不落地写出来，但最后给出的结论跟这些打分内容根本不搭边，甚至完全矛盾。这种情况下，如果只用最终结论对不对来打分，模型很容易蒙对答案却学不到真正扎实的判断逻辑。

为了堵住这个漏洞,研究者设计了维度化GRPO

GRPO：一种强化学习优化算法，让模型对同一个问题生成多个不同的候选回答，比较这些回答获得的奖励高低，从而调整模型未来倾向于生成奖励更高的那种回答

这里的关键创新是奖励的构成方式。奖励不再只看最终结论对不对，而是拆成两部分同时验证。第一部分叫答案奖励，检验模型选出的更好的那个视频是否和人类标注一致。第二部分叫维度奖励,检验模型在人类标注员指出的关键维度上，给出的分数排序是不是也支持这个最终结论。

比如人类标注员说这对样本里Video 2更好，理由是画面质量和完整性这两个维度更强,那么模型不仅要答对Video 2更好，还得在画面质量和完整性这两项上，也给Video 2打出更高的分数,如果模型答对了结论但打分自相矛盾,比如说完整性这项反而给了Video 1更高的分,那这次回答只能拿到一半的奖励。

这个设计逼着模型不能靠猜蒙混过关，必须让思考过程和结论真正对得上号。就像考试改卷子，一道数学大题只写了最终答案，哪怕答案碰巧对了，老师往往还是不放心，得看看解题步骤是不是真的推得出这个结果，如果步骤是乱写的，说明学生大概率是背了答案或者瞎蒙的，这种情况下不该给满分。

VA-Judger的这套设计正是把这种改卷子的严谨性搬进了机器学习的奖励机制里。

三阶段训练效果对比表格里的数字很有说服力。在整体准确率上，只用思维链但没经过训练的基础版Qwen3-Omni Instruct CoT只有57.83%，经过简单样本冷启动之后提升到62.35%，再加上困难样本的人工校准提升到65.91%，最后完成维度化强化学习后达到68.43%,整整比起点提升了10.6个百分点。这个提升幅度看起来不算天文数字，但要知道这10个点，恰恰是从和瞎猜差不多的水平，走向了明显能靠得住的判断能力,尤其是在跑分难度最大的困难样本和陌生模型样本上，进步幅度更加明显，之前提到的自动化指标在陌生模型上的判断经常还不如瞎猜，而VA-Judger在同样的场景下能保持63.4%的准确率。

拿VA-Judger当奖励去训练生成模型，效果到底怎样

光是能准确判断优劣，还不是这项研究的终点。研究者们真正想验证的是,如果拿VA-Judger当奖励信号去反过来训练视频生成模型，能不能真正把生成质量提上去。

他们选了LTX-2这个开源的联合视频音频生成模型当底座，沿用了OmniNFT原有的强化学习训练框架，但把里面那五个独立的专家奖励，全部替换成了VA-Judger给出的评分。具体的操作是,针对每个提示词，让老版本的模型生成8个候选的视频音频结果，两两组合形成28对比较，VA-Judger对每一对都按照五个维度打分，把每个候选样本在所有比较里的得分求平均,音频质量维度的得分单独作为音频分支的奖励，视频质量维度单独作为视频分支的奖励，其余三个维度合并成一个跨模态共享奖励，同时反馈给视频和音频两条分支。

结果是相当直接的。在JavisBench评测集随机抽取的200个提示词上，加了VA-Judger训练的LTX-2模型，在13个官方指标里拿到了11项最好成绩,视频质量从2.248涨到3.942，动作质量从0.697涨到1.183，音频质量从4.767涨到5.610，整体的联合评分JavisScore从0.074一路涨到0.230，几乎是原来的三倍多。

而对比组OmniNFT，虽然在同步性指标DeSync上表现也不错，但整体的JavisScore只有0.122，还不到VA-Judger训练结果的一半。

数字层面的对比可能还不够直观，研究者又做了一场实打实的人类评测。找来20位视力听力正常的成年参与者，针对同样的200个提示词，让基础版LTX-2、OmniNFT训练版和VA-Judger训练版各自生成一段视频音频，三段放在一起做三选一,结果VA-Judger训练版拿下了62.30%的人类偏好票，OmniNFT只拿到27.63%，基础版LTX-2最惨，只有10.08%。

这意味着，同一个提示词给三个模型分别生成一遍，普通人看完三段视频后，超过六成的时候会觉得VA-Judger训练出来的那一版最好,这已经不是统计上勉强领先的水平，是压倒性的多数人一致认同。

论文里还举了两个具体的画面案例。一个是描述一只兔子啃食草地，忽然被声音惊动，后脚跳一下，然后飞奔离开的场景。LTX-2的原始版本没能表现出兔子被惊动后跳跃逃跑的过程，OmniNFT训练版则出现了不该出现的落叶画面而且兔子还是没跑走，只有VA-Judger训练出来的版本，把啃草的小动作、静止的瞬间、还有最后跳跃逃跑这一整套动作,完整地表达出来了。

另一个例子是描述一架宇宙飞船降落，三条支撑腿缓缓收拢的画面。LTX-2版本里飞船只有两条腿，OmniNFT版本变成四条腿，而且都没有表现出收拢这个动作，只有VA-Judger训练版本，完整还原了三条腿、着陆动作这些细节要求。

这两个案例都指向同一个问题:目前的生成模型，即使已经用强化学习优化过，仍然容易在具体的时间性动作要求上出错，比如动作的先后顺序、数量的准确性,而这些恰恰是那种碎片化的自动打分指标很难精确捕捉到的，VA-Judger因为是从人类实际观感出发训练出来的，反而能在这类细节上给出更准确的引导信号。

回到最初提到的那个矛盾:自动化指标各自为战导致的判断失灵，正是被VA-Judger这套三阶段训练加维度化强化学习的思路给部分解决了。它没有试图去发明一套更精细的公式指标，而是选择直接学习人的判断，再把这种判断拆解成结构化的、可验证的推理过程，这个思路上的转变，或许比技术细节本身更值得留意。

写在后面

看完这篇论文，最让我意外的一点是，那些被广泛使用的评测指标，居然普遍连六成的准确率都够不着。这不是说这些指标设计得不够精巧，而是它们从根本上就没打算去理解跨模态的整体关系,VideoAlign就是不看音频，AudioBox就是不管画面语境，这是设计之初就划定的边界，不是bug，是feature的局限。

另一个值得琢磨的细节是维度奖励的设计。很多强化学习方案满足于只验证最终结论对不对，VA-Judger多加了一层校验思考过程内部是否自洽，这种设计思路其实可以推广到很多让AI输出推理过程的场景里,写代码、做数学题、写分析报告，都可能面临同样的问题:答案蒙对了，但推理是编的。

论文里没有细讲的一点是,这套人工标注体系的成本到底有多高，困难样本组的9.8K对比较全靠人工标注，这个工作量放在实际团队执行层面，估计不轻松。这也是这类研究一直绕不开的瓶颈,想要评委足够懂人心，就得先喂给它足够多真实的人心判断,而这件事目前还没有太好的捷径。

Q&A

Q1：VA-Judger是什么？

A：VA-Judger是一个专门用来给AI生成的视频音频内容打分的评审模型，它通过学习人类真实的偏好判断，能够综合评估画面质量、声音质量、音画同步性以及跨模态语义一致性，判断哪一段生成内容更符合人的观感，最终目的是给视频生成模型的强化学习训练提供更贴近人类真实感受的奖励信号。

Q2：VA-Judger和现有的自动化评测指标比，优势在哪？

A：现有的自动化指标比如VideoAlign、AudioBox往往只专注单一模态，无法综合判断跨模态的协调性，实测预测人类偏好的准确率普遍只有50%到57%左右。VA-Judger通过三阶段训练，结合真实人工标注数据，整体判断准确率能达到68.43%，在陌生模型生成的样本上表现依然稳定。

Q3：用VA-Judger训练出来的视频生成模型效果如何？

A：研究者用VA-Judger作为奖励信号，重新训练了LTX-2这个开源视频音频生成模型，结果在13项官方评测指标里拿下11项最优，人类评测中该模型获得62.30%的偏好票数，远超对比方法OmniNFT的27.63%和原始LTX-2的10.08%。