让AI生成的视频越播越长，画面却越来越烂：这篇论文找到了元凶

你有没有刷到过那种AI生成的长视频,一开始画面还挺正常,越往后看越诡异,颜色开始发绿发紫,物体边缘变得像素化,原本清晰的狗突然长出了马赛克质感的斑点。

这不是你的设备出了问题,而是一个困扰了整个视频生成领域的老大难问题。这篇来自香港中文大学和腾讯AIPD的论文,就是专门来拆解这个问题的。

**先搞清楚问题出在哪**

现在生成长视频的主流思路,是让AI一段一段地往下接着生成,前面生成的内容会变成后面生成的参考材料。这个方式听起来很合理,就像你写小说,写了第一章才能接着写第二章。

这种方法有个专业名字。

自回归视频生成*:指模型按时间顺序逐段生成视频,每一段新内容都基于之前已经生成的内容作为参考,像接龙一样往前推进。

问题是,AI生成的每一段都不可能做到100%完美,总会有些细微的瑕疵。第一段画面稍微有点噪点,第二段接着第一段生成时,这点噪点就成了"既定事实",AI会把它当成正常内容来延续,然后在这个基础上再加一点新的误差。十段过去,误差就像滚雪球一样越滚越大。论文里提到,这个过程训练时通常只练5秒钟的片段,但实际用的时候谁会只生成5秒视频?用户往往要几十秒甚至几分钟,这就是所谓的训练和测试之间的差距。

为了让模型提前适应这种"自己给自己挖坑"的情况,研究者们想出了一个办法:干脆让模型在训练阶段也用自己生成的内容作为参考,反复练习这种自产自销的循环。但新问题来了,模型生成的视频和真实视频长得不完全一样,没有现成的"标准答案"去对比着纠错,那怎么知道生成得好不好?

这就引出了一个叫做分布匹配蒸馏的技术。

分布匹配蒸馏(DMD)*:一种训练方法,不要求生成内容和某个具体的真实样本完全一致,而是找一个更强大的"教师模型"来打分,只要生成内容的整体风格、质感符合教师模型心目中"好视频"的标准即可,相当于请了一个质检员而不是对答案。

这个教师模型通常是一个更大、更强的双向视频扩散模型,它能同时看到视频的过去和未来,判断能力比边生成边决策的学生模型要强得多。听起来这套流程挺完美,一个强大的裁判实时给选手打分纠错。但论文作者发现,这套看似合理的机制里,藏着一个致命的设计缺陷。

**真正的元凶:联合打分的陷阱**

这个缺陷说出来其实挺反直觉的。你可能以为,既然教师模型这么强,那它肯定能揪出视频里的瑕疵,逼着学生模型改正。但事实恰恰相反,教师模型的"全局视野"反而成了放纵错误的帮凶。

问题出在教师模型打分的方式上。现有方法里,教师模型是把整段视频,包括已经生成的历史画面和当前正在生成的新片段,打包在一起整体打分的。这就带来一个两难局面:如果视频前面已经出现了颜色失真、纹理损坏这些问题,教师模型在给当前这一段打分时,没办法回头修改已经生成的历史画面,它只能眼睁睁看着这些错误摆在那儿。

这时候如果教师模型硬要求当前这一段画面突然变得干净漂亮,会发生什么?整段视频就会出现突兀的跳跃感,前一秒还脏兮兮的,后一秒突然变干净了,这种断层本身也是一种不自然。于是教师模型做了一个权衡,为了维持前后画面看起来是连贯的同一条视频,它选择容忍当前片段也带着一点历史遗留的瑕疵,用牺牲清晰度去换取所谓的"一致性"。

论文里有张对比图特别直观,画面里是一只猫头鹰,随着自回归生成的进行,背景的树叶逐渐出现了诡异的噪点和色彩错乱。在传统的联合打分机制下,教师模型给出的"标准答案"里,这些噪点竟然被保留了下来,仿佛教师模型在说"没事,这样才算连贯"。而换成论文提出的新方法后,教师模型给出的标准答案是干净清晰的猫头鹰,完全不受历史瑕疵的拖累。

这个发现其实挺值得琢磨的。我们通常以为,给AI提供更多上下文信息总是好事,信息越全面判断应该越准确。但在这个场景里,恰恰是这种"顾全大局"的思维,成了阻碍局部纠错的枷锁。

打个比方。假设你是一个作文批改老师,面前是一整篇由学生前后接力完成的文章。前半部分措辞粗糙、错字连篇,轮到你批改最后一段时,你发现这一段写得文笔优美、逻辑清晰。这时候你会不会因为"要和前面风格保持一致"而刻意把这段也改得平庸一些,好让整篇文章读起来不突兀?正常的批改思路当然不会这样做,你应该独立评价每一段的质量,该夸就夸,该指出问题就指出问题,而不是让已经写坏的部分去拖累后面写得好的部分。但视频生成里的教师模型,恰恰因为被要求"整体打分",掉进了这个陷阱里。如果不打破这种联合评分机制,无论教师模型本身有多强,它能给出的纠错信号都会被历史包袱所稀释,越往后生成,包袱越重,纠错力度越弱,这正是长视频生成质量塌方的根本原因。

**解决方案:让每一段独立接受审判**

找到病根后,论文提出的方案思路其实很直给,既然联合打分会被历史拖累,那就不要联合打分,让每一个视频片段单独接受教师模型的审视,教师只看这一段本身画得好不好,不去管它的前因后果。

这个方法论文里起名叫做滚动边际蒸馏。

滚动边际蒸馏(RMD)*:一种新的训练目标,让模型在生成时依然参考历史画面来保证内容的连贯性,但是在评判生成质量的好坏时,只针对当前这一个片段本身打分,完全不考虑它前后的画面内容。

这里有个细节设计得很巧妙:生成的时候依然是自回归的,该参考历史还是参考历史,不然视频内容早就对不上了,人物可能上一秒还在跑步下一秒就坐下了。只是在打分这一步,把历史这个干扰项摘掉了。这就好比生成是正常接龙写故事,但批改作文的时候,老师只看你刚写的这一段文字本身有没有语法错误、用词是否精准,不会因为前面同学写得烂就对你手下留情,也不会因为要迁就前文风格就压低你这段的得分标准。

要让这套独立打分机制真正跑起来,还得解决一个技术细节。视频的第一帧和后续帧在数据结构上其实不太一样。论文提到,视频生成模型用的编码方式叫做视频VAE。

视频VAE*:一种把视频压缩成更紧凑数据表示的编码器,方便模型处理。其中第一帧因为不涉及时间维度上的压缩,数据特征和后续帧有明显差异。

正因为这个差异,如果直接拿一个为"整段视频"设计的教师模型,去给一个从视频中间截取出来、脱离上下文的独立片段打分,教师模型可能会误以为这是一段视频的开头,从而用错误的标准去评判它。所以研究者专门用LoRA技术,把教师模型在大量"视频中间片段"上重新调教了一遍,让它学会怎么给一个没头没尾的中间片段打出合理的分数。

LoRA*:一种轻量化的模型微调技术,不需要重新训练整个大模型,只需要调整一小部分参数,就能让模型适应新的任务场景,好比给西装做局部改款而不是从头定做一件新衣服。

论文里还有个很细腻的设计,叫做非对称去噪出口策略。视频生成的每一步其实是通过多轮去噪逐渐把噪声图像变清晰的过程,对于视频的第一段,研究者会在这个去噪过程的某个随机中间步骤进行打分;而对于后续片段,则坚持只在去噪的最后一步,也就是画面最清晰的那一刻进行打分。论文解释说,这是因为去噪早期阶段主要靠参考历史信息来确定整体的运动走向,如果在这个阶段就强行用独立打分去干预,反而会破坏模型原本学到的运动连贯性先验知识;到了去噪末期,模型主要是在精修局部细节,这时候独立打分正好用来把关画面质量。论文的消融实验也验证了这一点,如果把这个非对称设计去掉,全都用随机步骤打分,视频会出现严重的时间抖动,总分从81.26掉到了78.29。

**独立打分的代价:视频片段之间开始"各自为政"**

不过天下没有免费的午餐。独立打分虽然解决了历史包袱的问题,却也带来了一个新麻烦。既然每一段都是单独评判、单独优化的,那片段和片段之间的衔接关系就没人管了。

论文里的消融实验很直观地展示了这个问题。只用独立打分训练出来的模型,视觉质量分数确实很高,达到84.90分,但是把视频按时间轴切一条线做成时空切片图来看,画面里出现了锯齿状的抖动痕迹,说明虽然每一帧单独看都挺漂亮,但是帧与帧之间的运动衔接变得生硬、跳跃。

这个现象其实也不难理解。想象一个合唱团,如果你把每个人单独关在一个隔音房里训练发声,每个人唱出来的音色、音准可能都无可挑剔,但是把大家重新放到一起合唱时,因为彼此之间从没有配合练习过,节奏、换气的时机全都对不上,合唱效果反而一团糟。如果不解决这种"各自为政"的问题,视频里就会出现动作衔接不连贯、画面忽闪忽跳的毛病,观感上甚至可能比原来联合打分时还要别扭。

所以论文的完整方案其实是两步走。先用刚才说的独立打分方式,把每个片段训练到足够清晰干净,解决历史瑕疵累积的问题;然后在这个基础上,再补一轮传统的联合打分训练,这次的目的不是纠正单帧画质,而是专门用来抚平片段之间的衔接,让运动轨迹重新变得顺滑连贯。论文的实验数据显示,加上这第二步补课之后,画面主体一致性从97.29提升到98.05,运动平滑度从98.79提升到98.96,时空切片图里原本锯齿状的抖动痕迹也变得顺滑了。

这个"先独立精修、再统一打磨"的两段式思路,其实揭示了一个更普遍的道理,很多看起来矛盾的目标,未必需要用一个模型同时兼顾,有时候分阶段、各个击破反而更有效。

**实际效果怎么样**

说了这么多设计思路,最终效果到底如何?

论文用了一个叫VBench-Long的评测体系来打分,涵盖944个不同的文字提示,每个提示生成5次视频,统一在60秒时长下进行评测。

对比的基准方法包括Self Forcing和Causal Forcing,这是目前该领域比较有代表性的两个自回归视频蒸馏方案。结果显示,在片段大小为1的设置下,RMD的总分达到81.26分,而Self Forcing只有70.94分,Causal Forcing是69.88分,差距超过10分。更细分的质量分数上,RMD是84.52分,明显高于对手的77到78分左右;语义理解分数差距更夸张,RMD是68.24分,Self Forcing只有43.17分,Causal Forcing更低,只有36.03分,几乎是打了对折。

论文还专门做了一个随着视频时长拉长、质量如何变化的追踪实验,从10秒一路测到60秒。结果很说明问题,RMD的质量分数从10秒时的84.68,到60秒时只轻微下降到84.52,几乎纹丝不动。而Self Forcing的总分从79.12一路跌到70.94,整整掉了8个多点,这还只是60秒的数据,如果继续拉长差距只会更悬殊。

论文里最直观的展示是一张图,展示了把训练时长只有5秒的模型,硬是拉到生成500秒视频,也就是训练时长的100倍。画面里是沙滩、海浪、沙漠、蘑菇、篝火这些场景,从视频开始一直到500秒处,画面始终保持着清晰的质感和稳定的结构,没有出现业内常见的颜色崩坏、结构扭曲的现象。要知道,这整个过程完全依赖一个滑动窗口机制去参考最近的历史画面,没有用任何固定的记忆锚点,也没有改动模型架构本身,纯粹是靠训练方式的改进撑起来的。

**写在后面**

读完这篇论文,有个细节让人印象很深。研究者没有去发明一个全新的模型架构,也没有堆砌更复杂的记忆机制,而是回过头去质疑一个大家习以为常的训练细节,教师模型打分时到底该看多大范围的上下文。这种"回头审视基础假设"的思路,比直接堆算力、堆参数更难,但往往更能触及问题本质。

还有一点值得琢磨,论文里提到独立打分会导致片段间的抖动,这其实暗示了一个更深的张力,局部最优和全局连贯之间,很难指望一个单一目标函数同时把两者都照顾周全。这不只是视频生成领域的问题,很多需要"既要局部精确、又要整体流畅"的系统设计,可能都躲不开这种分阶段妥协的宿命。

论文最后也没有回避局限性,500秒的超长展示只是定性案例,没有纳入正式的量化评测体系。如果换成人物对话、复杂多物体交互这类更考验长程记忆和逻辑一致性的场景,独立打分机制是否还能撑住,这是个留白的问题。

Q&A

Q1：滚动边际蒸馏具体解决了视频生成中的什么问题？

A：它解决了长视频自回归生成中画质逐渐劣化的问题,通过让教师模型对每个视频片段独立打分,避免历史瑕疵污染当前片段的纠错信号,从而让模型在远超训练时长的情况下依然保持画面清晰稳定。

Q2：为什么传统的分布匹配蒸馏方法在长视频生成中会失效？

A：因为传统方法让教师模型对整段视频联合打分,当历史画面已经出现瑕疵且无法修改时,教师模型为了维持前后连贯性,会倾向于保留这些瑕疵而不是强行修正,导致误差随生成过程不断累积放大。

Q3：RMD方法生成500秒长视频靠的是什么机制？

A：完全依靠一个滑动窗口持续参考最近生成的历史画面,没有使用固定记忆锚点或额外的显式记忆模块,也没有改动生成模型本身的架构,纯粹依赖训练方式的改进实现超长时间的稳定生成。