加州理工与Netflix联手打造"视频层叠编辑"系统，原始画面终于不再被AI改乱了

这项由加州理工学院与Netflix联合研究团队完成的工作，以预印本形式发布于2026年6月22日，论文编号为arXiv:2606.23610，感兴趣的读者可以通过该编号查询完整论文。

你有没有用过那种AI视频编辑工具，想把背景换成雪山，结果主角的脸变形了？或者想在画面里加只狗，结果狗和旁边的人融成了一团？这种情况几乎是所有AI视频编辑工具的通病，而且让人抓狂到一个地步：哪怕AI改动得很微妙，放到商业制作里也是一票否决。

这个团队专门研究的就是这件事——怎么让AI在改动视频的时候，把"该碰的"和"不该碰的"真正分开。他们给这套系统起了个名字：Vera，来自拉丁语，意思是"真实的"。

一、所有问题的根源：AI改视频，是在"重新画一遍"

要理解Vera解决了什么问题，得先搞清楚现有AI视频编辑工具为什么总把没改的地方也改坏。

把现有AI视频编辑工具比作一个帮你修照片的助手。你指着照片说："帮我把背景换成夜市。"但这个助手不是拿剪刀把背景剪掉再贴新的——他的工作方式是：把整张照片从头到尾用画笔重新画一遍，只是在画背景的时候换个风格。结果呢？主角的头发、眼神、衣服纹理，全都在"重画"过程里被悄悄改掉了。你回头一看，背景确实换了，但总感觉哪里不对劲，仔细看，脸好像变了，发丝模糊了，领口的褶皱消失了。

这就是当前AI视频编辑的本质问题：它们采用的是一种叫"端到端重生成"的方式，意思是，哪怕你只要改一小块，AI也会把整段视频的每一帧每一像素重新推算一遍。要求它保留什么，它只能尽力而为，但绝对做不到100%原封不动。在商业制作里，这个"尽力而为"完全不够用。

现有工具也尝试了各种补救方法。有的给AI加一个"禁止改动区域"的蒙版，告诉它哪里不能碰；有的把编辑操作限定在特定区域；还有的专门训练了一些约束条件。但这些方法都治标不治本——AI还是要把整段视频重新跑一遍，蒙版只是在结果出来之后再做一次筛选，而不是从源头上阻止AI动那些区域。

更麻烦的是，这些工具输出的是一个"最终成品"，而不是分开的层级资产。在真实的影视后期制作流程里，编辑人员需要的往往不只是一个合成好的画面，而是一层一层可以单独调整的素材——前景、背景、特效分开存放，随时可以改其中一层而不影响其他层。AI工具输出的合成成品，要从里面再把各个层拆开，几乎是不可能的事。

二、Vera的核心思路：不是"改完整视频"，而是"往上贴一层新的"

Vera的解法可以用一个非常直观的比喻来理解：在原始视频上方，放一张透明胶片。

胶片上画着需要添加或改变的内容，胶片本身是透明的——没有内容的地方完全透明，有内容的地方可以是完全不透明，也可以是半透明（用来表现阴影、烟雾、反光这类效果）。把这张胶片叠在原始视频上面，就得到了最终画面。原始视频一帧都没动，改动的全部内容都在那张额外的胶片上。

Vera做的，就是同时生成三样东西：一是"编辑层"，相当于那张胶片上画的内容；二是"Alpha蒙版"，也叫透明度图，逐像素标记胶片上哪里透明、哪里不透明、哪里半透明；三是"合成视频"，也就是胶片和原始视频叠加后的最终效果。原始视频的每一帧、每一个像素，完全不经过AI的重新生成，直接保留。

这个框架用数学语言表达就是：最终合成画面 = (1 - Alpha) × 原始视频 + Alpha × 编辑层。Alpha是0的地方，完全显示原始视频；Alpha是1的地方，完全显示编辑层；Alpha在0到1之间的地方，两者按比例混合，用来表现阴影、透明玻璃等自然过渡效果。

值得注意的是，团队在设计这个框架时做了一个经过深思熟虑的选择：生成"合成视频"而不是直接生成"保留内容"。理由很简单——合成视频看起来像一段正常的自然视频，和AI模型在预训练时见过的大量视频数据分布一致，更容易被模型理解和生成高质量结果。而"保留内容"往往有很多半透明区域（比如玻璃后面的背景），分布更复杂，对模型来说更难处理。

这个设计还有一个实用的副作用：输出的三个层级资产可以直接进入专业后期制作流程，不需要后期手工拆解。对于影视制作团队来说，这意味着AI生成的结果可以像传统手工制作的素材一样被继续编辑和调整。

三、混合变换器架构：三个"专家"协作，而不是一个"万能选手"

确定了"生成三样东西"的目标之后，下一个问题是：怎么设计AI模型的内部结构？

最直觉的做法是：用同一个AI模型，同时生成三样东西——编辑层、Alpha蒙版、合成视频，让模型自己学会同时处理这三种内容。但团队发现这行不通，原因是这三样东西的"性格"差异太大了。

编辑层里装的是创意内容，充满色彩和细节；Alpha蒙版是一张灰度图，只用黑白灰来表示透明度，还需要理解编辑内容和原始场景之间的空间关系（比如插入的物体被原有前景遮挡的部分）；合成视频则是正常的自然视频，分布最接近AI模型原本被训练的数据。把这三种截然不同的内容强行塞进一个模型里，模型需要花费大量"精力"来协调不同分布之间的矛盾，效率很低，效果也差。

Vera的解法借鉴了一种叫"混合变换器"的架构思路，英文缩写是MoT（Mixture-of-Transformers）。简单来说，就是让三个专门的AI子模型各负责一样东西——一个专门处理编辑层，一个专门处理Alpha蒙版，一个专门处理合成视频。每个子模型都是独立的，有自己专属的参数。

但三个子模型不是各自为政、互不相干的。它们通过一种叫"联合自注意力"的机制来交流信息：在处理每一步的时候，三个子模型的所有"思考内容"被合并成一个长序列，共同进行一次注意力计算，让每个子模型都能看到其他两个子模型正在"想什么"。这就保证了三个输出之间的一致性——Alpha蒙版知道编辑层里画了什么，合成视频知道Alpha蒙版把哪里设成了透明，三者相互协调。

这三个子模型都从同一个预训练好的文本转视频模型（具体是Wan2.1）初始化，相当于三位专家都有相同的基础知识储备，再各自专注于自己负责的那个方向。

从外部输入的角度看，原始视频的信息被加到合成视频子模型的输入里，让它知道最终输出需要和原始画面保持哪些一致性；而可选的蒙版视频（用来指定需要编辑的区域）被加到Alpha蒙版子模型的输入里，让它知道哪个区域应该有非零的透明度值。

这个架构的代价是计算量显著增加。由于联合自注意力要处理三个子模型的全部序列，计算量按序列长度的平方增长，Vera-1.3B版本的每步计算量是同等规模的单模型VACE的约4.3倍，生成一段视频大约需要8.3分钟，比VACE的2.4分钟慢了约3倍。但这个开销是可以通过工程优化（如核函数融合、序列并行化）进一步压缩的。

四、训练数据：从零搭建一个从未存在过的数据集

Vera能运作，还需要一个关键前提：训练数据必须是"已经按层分好的视频"——每个样本都要包含输入视频、编辑层、Alpha蒙版、合成视频四个部分。问题是，这样的数据在世界上根本不存在现成的。

团队不得不自己从头构建，最终得到了一个包含约6000个样本、总计486K帧、分辨率832×480的数据集。每个样本都是四段视频的组合，覆盖两种编辑任务：背景替换和物体添加。

整个数据来源分三个大类，复杂程度层层递进。

第一类是"合成前景背景"数据。基础来自一个已有的视频抠图数据集VideoMatte240K，这个数据集里有精心标注的人物Alpha蒙版，对发丝这样的细节也有精准的边界。但它只有前景（人物）没有背景，所以团队用一个视频修复模型自动生成多样化的背景，再把人物叠加上去。这类数据的Alpha精度高，但场景局限于静止摄像机拍摄的人物，缺乏现实多样性。

第二类是"现实单主体视频"数据。团队从Pexels和Mixkit这两个免费视频素材网站收集了大量真实拍摄的视频。处理流程颇为复杂：人工标注员先在视频里标出要分离的主体，用点击式交互工具SAM2进行初步分割，再用专门的视频抠图模型VideoMaMa精化Alpha边界，然后用视频修复模型Casper把主体从视频中移除得到干净背景，最后用VLM（大型视觉语言模型）自动生成编辑指令。这类数据有真实的镜头运动和场景多样性，但每个视频通常只有一个主要主体，且缺乏阴影、反射等交互视觉效果。

第三类是"现实多主体含特效视频"数据。在第二类的基础上，增加了一个叫"Omnimatte优化"的步骤。这个方法能够识别物体的"附属特效"——比如一个人走路时地面上的影子、水面上的倒影——并把这些特效也纳入Alpha蒙版，作为物体的一部分一起分离出来。由于Omnimatte优化结果通常有噪声，还需要人工标注员再次确认哪些区域确实是特效（而不是算法噪声），并用SAM2精化边界。这类数据专门用于物体添加任务，能让模型学会生成带有真实阴影和反射的自然效果。

从数量分布看，合成数据占了约81%（合成物体添加和合成背景替换各约41%），现实单主体数据约占6%，现实多主体数据约占3%。这个比例并非最优，团队也指出，如何平衡不同任务的数据配比仍是未来需要解决的问题。

五、消融实验：逐一验证每个设计选择的价值

研究团队做了大量对照实验，系统地验证每一个设计选择是否真的有用。

关于分层框架本身的价值，对照组是相同配置下用传统"整体重生成"方式训练的模型。结果非常直观：采用分层框架的Vera和Vera-no-comp（去掉合成视频分支的版本），在内容保留质量上比同规模的传统方法高出2.8到5.0分贝的峰值信噪比（PSNR）——这是一个衡量图像保真度的指标，高出3分贝大致对应着肉眼可见的明显差距。即使是用更大参数量（5B、7.6B）的传统方法模型，也无法弥合这个差距，因为根本原因是框架设计而非模型大小。

关于合成视频分支的价值，把它去掉（Vera-no-comp）之后，内容保留数字略有提升，但编辑质量评分急剧下降——在物体添加任务上，VLM评判的空间质量评分从3.46跌到2.85，跌到甚至低于传统方法的水平。合成视频分支的存在，迫使模型在生成编辑层和Alpha蒙版时时刻对照"最终效果是什么样的"，起到了协调和约束作用。

关于MoT架构（三个独立子模型）与密集单模型（把所有层的token拼接在一起用一个模型处理）的对比，密集单模型在编辑层和Alpha蒙版之间的对齐上表现很差——可以直观理解为，Alpha蒙版画出的轮廓和编辑层的实际内容对不上，导致合成后出现明显的边缘错误。MoT架构通过让每个子模型专注于自己的分布，同时通过联合注意力保持协调，从根本上解决了这个对齐问题。

关于学习率设置，团队发现把Alpha蒙版分支和合成视频分支的学习率设为基础值的10倍、把编辑层分支的学习率降为基础值的0.1倍，效果最好。直觉上讲，这是因为Alpha蒙版和合成视频的生成方式与预训练时的分布差异更大，需要更快地适应新任务；而编辑层的生成更接近模型原本就擅长的"生成内容"，过快的学习反而会破坏已有的生成能力。

关于训练数据的叠加效果，从只用合成数据，到加入现实单主体数据，再到加入现实多主体数据，物体添加任务的PSNR从18.4逐步提升到19.1再到24.8，最后一步的跳跃尤其明显，主要原因是多主体含特效数据让模型学会了生成符合场景逻辑的阴影和反射。背景替换任务则从合成数据的33.8提升到加入单主体后的35.6，再回落到加入多主体数据后的33.8，说明为物体添加任务优化的数据对背景替换任务有一定的负干扰，数据配比的平衡仍需进一步研究。

六、与其他方法的横向比较：保留质量遥遥领先，编辑质量不输竞争者

在正式评测中，团队构建了一个包含72个物体添加视频和69个背景替换视频的测试集，视频来源涵盖Pexels、DAVIS数据集和VACEBench，覆盖快慢运动、各种摄像机运动、单多主体、简单复杂场景等多种条件。

评测指标分三个维度：内容保留（用PSNR、SSIM、LPIPS三个指标衡量编辑区域外的画面是否保持不变）、视频质量（包括传统的时序一致性指标，以及团队新引入的VLM评判空间质量和时序质量指标）、指令遵从（衡量生成结果是否符合文字编辑指令）。其中VLM评判的质量分使用三个不同的大模型——Gemini-3-Pro、GPT-5.2、Claude Sonnet-4.6——取平均值，以减少单一模型评判偏差。

对比对象包括七个近期开源视频编辑模型：通用指令驱动编辑类的Ditto、Lucy-Edit、ICVE；区域约束编辑类的ReCo；蒙版条件编辑类的VACE（1.3B和14B两个版本）以及VideoPainter；以及分层生成类的LayerFlow（作为参考对比，因其限制只能生成16帧）。

在内容保留方面，Vera的优势压倒性。Vera-1.3B在背景替换任务上的PSNR比最强竞争对手高3.5分贝，在物体添加任务上高出6.3分贝；Vera-14B进一步将差距扩大到4.5分贝和7.1分贝。结构相似度（SSIM）和感知距离（LPIPS）也有一半以上的改善。这些数字背后的物理意义是：Vera保留的原始画面质量远远超出其他方法，不是略有提升，而是质的差距。

在编辑质量方面，情况更为细微。在背景替换任务上，VACE的VLM质量评分高于Vera，Vera排在第二位；在物体添加任务上，Vera在空间质量、时序质量和指令遵从三个维度全部排名第一，超过VACE。这说明分层设计本身不会降低编辑质量，反而在物体添加这种更需要精确定位的任务上有质量优势。

人工偏好研究的结果与自动指标基本一致，略有出入。总计513个有效对比试验，19位标注员参与，每人评估32对视频。在内容保留和指令遵从两个维度，Vera-1.3B对所有五个基准方法都取得了统计显著的胜出（对VACE-14B的内容保留胜率达到64%，对其他方法更高）。在视频质量维度，Vera对大部分基准方法胜出，但在背景替换任务上对VACE-14B和Ditto略处下风，与自动指标中VACE在背景替换的VLM分较高一致。

七、Alpha蒙版质量：意外的收获

团队还做了一个额外验证，放在附录里但值得单独提一下：Vera生成的Alpha蒙版质量本身达到了什么水平？

要知道，Vera在训练时没有专门的抠图损失函数，训练数据里的Alpha蒙版来自VideoMaMa这个专门的视频抠图工具，Vera只是把生成好的Alpha蒙版作为训练目标之一来学习。在这个前提下，团队拿Vera的输出Alpha和专门的视频抠图工具在YouTubeMatte基准上做对比。

结果显示，Vera-14B的Alpha质量与专业抠图工具MatAnyone基本持平，远超SAM2的原始分割蒙版，仅次于VideoMaMa（而VideoMaMa恰好是生成训练数据所用的工具，相当于上限参考）。换句话说，Vera在"顺便学会"了抠图这件事上，表现得和专门为抠图而设计的工具一样好。这意味着未来如果需要进行精细的视频抠图处理，Vera有潜力直接提供足够精度的Alpha蒙版，不需要单独跑一遍专业抠图工具。

归根结底，Vera的工作说明了一件事：在AI视频编辑里，"不改动的内容完全不动"这件事是可以通过设计来保证的，而不只是靠训练来祈祷。分层输出的框架把"生成创意编辑"和"保留原始内容"这两件事物理上分开，后者直接由原始视频提供，根本不经过AI的生成过程。这个思路看起来简单，但在工程实现上需要解决架构设计、数据构建、训练策略等一系列问题。

当然，Vera还有明确的局限。每次推理同时跑三个子模型，计算成本约为传统方法的三倍。评测任务只覆盖了物体添加和背景替换两种，重新打光、复杂特效等任务需要对应的分层训练数据才能支持。另外，Vera的设计假设"被保留内容"的半透明区域很小，对于玻璃、水面这类大面积半透明保留内容，需要更专门的数据和评测方案才能支持。

对于日常用户来说，这项工作意味着：未来你用AI工具改视频背景的时候，主角的脸应该真的完全不会变，而不是"大概不会变"。对于影视制作团队来说，AI生成的分层资产可以真正接入专业后期流程，而不是只能作为"参考效果图"。有兴趣深入了解技术细节的读者，可以通过arXiv:2606.23610获取完整论文，项目的演示页面也可以通过论文中的链接访问。

Q&A

Q1：Vera的"分层编辑"具体是什么意思，和普通AI视频编辑有什么不同？

A：普通AI视频编辑会把整段视频重新生成一遍，即使只改一小块区域，其他地方也可能被悄悄改动。Vera的方式是只在原始视频上方"叠加一层新内容"，原始视频一帧都不动，所有改动都放在额外的编辑层里，再用透明度图控制两者的混合方式。本质区别是：原始内容是直接保留的，不是让AI"尽量保留"的。

Q2：Vera生成三样输出会不会比普通方法慢很多，实际用起来可行吗？

A：确实更慢。Vera-1.3B在单张A100显卡上生成一段视频大约需要8.3分钟，而对比方法VACE只需要约2.4分钟，大约慢了3倍。这个差距主要来自三个子模型同时运行且共享注意力计算，计算量约为单模型的4.3倍。论文团队认为这个开销通过工程优化是可以压缩的，但目前仍是使用上的实际限制。

Q3：Vera训练用的数据集是现成的还是新构建的，普通人能用吗？

A：是团队从头构建的。原因是世界上根本没有现成的"按层分好的视频编辑数据集"，所以团队从Pexels、Mixkit等免费素材网站收集视频，结合SAM2、VideoMaMa、VACE等多种工具和人工标注，构建了包含约6000个样本、486K帧的数据集，目前没有提到公开发布计划。