Sci-Fi：对称约束让视频过渡更自然 - 北京大学等机构研究突破

如果你曾经看过电影制作或动画创作的幕后花絮，你可能注意到了一个有趣的现象：专业人士常常只需要绘制关键帧，而中间的过渡动作则由技术来补充。这项被称为"帧间插值"（Frame Inbetweening）的技术，长期以来一直是计算机视觉领域的重要研究方向。近期，来自北京大学深圳研究生院、伟湾大学、腾讯ARC实验室和兔小贝智能的研究团队联合发布了一项名为"Sci-Fi"的创新研究，显著提高了这一技术的效果。这项研究发表于2025年5月，可通过论文标题《Sci-Fi: Symmetric Constraint for Frame Inbetweening》在arXiv预印本平台（arXiv:2505.21205v1）上查阅。

想象一下，你有一段视频的第一帧和最后一帧，然后希望计算机能够自动生成中间的所有画面，让整个视频看起来流畅自然。这听起来简单，但实际上涉及极其复杂的技术挑战。以往的方法常常产生不自然的过渡效果，就像你看到一个人从站立姿势突然跳到奔跑姿势，中间缺少了自然的动作连接。

为什么会这样呢？研究团队发现了一个关键问题：现有的基于图像到视频扩散模型（I2V-DM）的方法存在不对称约束。简单来说，就像是一个拔河比赛，起始帧的"拉力"远大于结束帧，导致生成的中间内容更倾向于跟随起始帧的发展轨迹，而不是平滑地过渡到结束帧。

北京大学的研究团队提出的"Sci-Fi"方法巧妙地解决了这个问题。就像平衡天平的两端，他们设计了一种方法，让起始帧和结束帧对中间内容的影响力达到平衡。具体来说，他们开发了一个名为"EF-Net"的轻量级模块，专门用来增强结束帧的约束力，使其能与起始帧形成对称的影响。

这种创新方法不需要大规模的特定训练，就能让生成的视频呈现出更加和谐的过渡效果。无论是车辆移动、人物动作、动物奔跑还是卡通角色的表情变化，Sci-Fi都能表现出色。实验结果显示，与现有方法相比，Sci-Fi在各项指标上都取得了显著提升，特别是在复杂场景的处理上更具优势。

这项技术的应用前景十分广阔，不仅可以用于电影制作、动画创作，还能应用于视频内容编辑等领域，大大节省人力成本。接下来，让我们深入了解这项创新研究的细节。

一、帧间插值的挑战：不平衡的拔河比赛

想象一下，你是一个拔河比赛的裁判，需要确保两队力量平衡，比赛才能精彩。在视频帧间插值技术中，起始帧和结束帧就像拔河的两端，它们共同决定中间画面的生成方向。然而，现有技术就像一场不公平的拔河赛，一端的力量远大于另一端。

传统的帧间插值方法主要基于光流估计，就像是通过观察云朵的移动来预测它们在未来几分钟的位置。这些方法在处理简单的刚性运动（如摄像机平移）时表现不错，但面对复杂场景（如人物快速运动或表情变化）时往往力不从心，生成的中间帧看起来扭曲不自然。

近年来，随着扩散模型在图像和视频生成领域的突破，研究人员开始将大规模预训练的图像到视频扩散模型（I2V-DM）应用于帧间插值任务。这些方法大致可分为两类：一类是采用双向采样策略，将结束帧视为反向视频的起始帧；另一类是直接微调现有的I2V-DM模型，引入结束帧约束。

然而，研究团队发现了这些方法的一个共同缺陷：它们用于注入结束帧约束的机制与注入起始帧约束的机制相同，但训练规模却有天壤之别。原始的I2V-DM经过了大规模预训练，专门针对起始帧约束进行了充分训练，而结束帧约束的训练规模则小得多（有些甚至没有专门训练）。

这就像一个健身教练（起始帧）和一个普通人（结束帧）在拔河，显然健身教练会占据绝对优势。在这种不平衡的情况下，生成的中间帧更倾向于遵循起始帧的发展轨迹，导致与结束帧之间存在巨大差距，最终表现为不一致的运动或外观崩溃。

二、Sci-Fi：重新平衡拔河比赛的创新方法

面对这一挑战，研究团队提出了一个关键洞察：对于训练规模较小的约束，应该采用更强的注入机制。就像给拔河比赛中较弱的一方提供更好的装备或技术，以平衡双方力量。

基于这一思路，团队提出了Sci-Fi框架。这个框架保持了对起始帧的处理方式不变，同时引入了一种改进的机制来增强结束帧的约束力。这种做法避免了大规模专门训练的需求，实现了高效的对称起始-结束帧约束。

Sci-Fi框架的核心是一个名为EF-Net的轻量级模块。这个模块就像一个专门的翻译官，能够高效地编码结束帧，并将其扩展为时间自适应的帧级特征，然后注入到I2V-DM中。通过这种方式，结束帧能够强有力地影响中间内容，使其约束力与起始帧相当。

想象一下，如果帧间插值是一次从A点到B点的旅行，传统方法就像是先确定了从A出发的大致方向，然后期望能偶然到达B点。而Sci-Fi则同时考虑了A点和B点的位置，规划出一条平滑的路径，确保旅程既从A点开始，也必定到达B点，中间的每一步都在这条合理路径上。

这种对称约束的设计使得Sci-Fi能够生成更加和谐的过渡效果。无论是处理车辆移动、人物动作、动物奔跑还是卡通角色的表情变化，Sci-Fi都能表现出色，生成的中间帧自然流畅，与起始帧和结束帧形成一个连贯的整体。

三、EF-Net：加强弱队的秘密武器

EF-Net是Sci-Fi框架的核心组件，它的设计灵感来自于可控图像和视频生成领域的成功经验，如ControlNet和T2I-Adapter等。这些模块通常将控制信号转换为像素级或帧级特征，然后通过直接添加或交叉注意力的方式注入到基础模型中。

但EF-Net面临的挑战更复杂：它需要将单个图像（结束帧）转换为时间自适应的帧级特征，以便注入到I2V-DM中。这就像是根据目的地（结束帧）推断出整个旅程中每一步应该看到的景象。

具体来说，EF-Net的工作流程如下：

首先，EF-Net接收结束帧作为输入，并通过一系列变换器（Transformer）模块将其转换为多个序列特征。这些特征包含了结束帧的丰富语义信息，就像是对目的地进行了多角度、多层次的分析。

然后，EF-Net使用线性投影预测基于令牌的时间系数。这些系数可以将结束帧特征在时间上扩展f倍（视频帧数），通过一个外积操作实现。这就像是根据目的地绘制了一份详细的路线图，标明了从起点到终点的每一步应该呈现的样子。

为了使这些特征在时间上更具适应性，EF-Net还将噪声潜变量zt（代表整个视频内容）与扩展后的特征连接起来，通过非线性MLP生成最终的帧级特征。这一步骤就像是将路线图与实际地形和天气条件相结合，生成更加实用和适应性强的行程指南。

最后，这些生成的帧级特征被直接添加到I2V-DM的前M个模块的输出特征中，对模型生成过程产生直接影响。这就像是在旅程的关键节点上设置了指示牌，确保旅行者不会偏离正确的路线。

为了保持EF-Net的轻量级特性，研究团队将M设置为4，远小于I2V-DM中的模块总数（N=42）。这种设计使得EF-Net能够在不增加太多计算负担的情况下，有效增强结束帧的约束力。

四、实验结果：创新方法的有效性验证

为了验证Sci-Fi的有效性，研究团队进行了广泛的实验。他们从公开可用的创意材料平台iStock收集了训练数据，并从DAVIS数据集和Pexels平台分别筛选了119和100个视频片段用于评估。测试数据集涵盖了各种场景，包括人类动作、动物运动、车辆移动和自然场景等。

Sci-Fi模型的训练过程非常高效，仅需6,000次迭代，总批量大小为4。研究团队使用AdamW优化器同时更新EF-Net和整个基础模型（CogVideoX-5B-I2V）的参数，采用余弦退火学习率，初始值为3e-5。推理步数为50，与官方推荐设置一致。

在定量比较方面，研究团队将Sci-Fi与九种先进的基线方法进行了对比，包括基于光流的方法（FILM、EMA-VFI）、基于直接微调的方法（DynamiCrafter、MoG）、基于双向采样策略的方法（TRF、GI、ViBiDSampler）以及结合额外条件的方法（FCVG、CogVideoX-FT）。

评估指标包括LPIPS（评估单帧质量）、FID（评估单帧质量）、FVD（评估整体视频质量）和VBench（一个综合评估框架，从多个维度评估视频质量）。结果显示，Sci-Fi在所有指标上都取得了最佳表现。例如，在DAVIS数据集上，Sci-Fi的LPIPS为0.2096，FID为22.30，FVD为382.03，VBench为0.8240，明显优于第二好的方法CogVideoX-FT（LPIPS为0.2349，FID为26.46，FVD为449.02，VBench为0.8104）。

定性比较进一步证实了Sci-Fi的优势。当起始帧和结束帧之间存在较大差距时，其他方法生成的中间内容往往包含不协调的运动或崩溃的外观。而Sci-Fi则能提供更加平滑的过渡效果。例如，在处理人物运动时，其他方法生成的中间帧往往包含不适当的运动轨迹或扭曲的内容，而Sci-Fi能够实现更加和谐的动态效果。

研究团队还进行了用户研究，测量人类对模型输出的偏好。他们使用Sci-Fi和其他四种方法为30对起始-结束帧生成相应的结果。然后，对于具有相同起始和结束帧的视频，参与者分别基于三个维度（运动质量、内容保真度和整体吸引力）选择最佳视频。共有32名参与者参与了这项实验，提供了2,880个评分。结果显示，在每个评估维度上，Sci-Fi被选择的比例都超过四分之三，表明人们强烈偏好Sci-Fi生成的输出。

此外，研究团队还测试了Sci-Fi和其他基于I2V-DM的方法的推理时间。尽管Sci-Fi使用与CogVideoX-FT相同的基础I2V-DM并增强了结束帧注入，但它仅增加了很少的推理时间，表明所提出的方法非常高效。

五、卡通帧间插值：方法的泛化能力

帧间插值技术在卡通创作中也具有重要意义。虽然Sci-Fi是在真实世界数据上训练的，但它展示了对卡通帧间插值的强大泛化能力。

研究团队收集了100个卡通视频片段进行定量比较，包括日本、美国和中国动画。结果显示，Sci-Fi在所有指标上都取得了最佳成绩。例如，Sci-Fi的LPIPS为0.1959，FID为37.39，FVD为439.63，VBench为0.8403，明显优于第二好的方法CogVideoX-FT（LPIPS为0.2350，FID为40.72，FVD为466.50，VBench为0.8230）。

视觉比较进一步证实了Sci-Fi在卡通帧间插值中的优势。例如，在处理船只运动时，其他方法生成的中间帧中船只的动态和外观往往杂乱无章。相比之下，Sci-Fi能够实现更好的效果，包含和谐的中间过渡，具有一致的动态和外观。这种泛化能力使Sci-Fi成为卡通创作的有力工具。

六、消融实验：方法设计的合理性验证

为了验证EF-Net设计的合理性，研究团队进行了多项消融实验：

首先，他们比较了几种不同的EF-Net变体：(1) 完全移除EF-Net；(2) 移除EF-Net中对噪声潜变量zt的结合；(3) 在EF-Net中添加可学习的时间位置嵌入，以在时间上变化帧级特征。结果表明，完全移除EF-Net导致了最差的结果，表明使用额外模块增强结束帧约束注入的重要性。与第二和第三种变体相比，除了FVD略低于第三种变体外，研究团队的方法在其他三个指标上都取得了最佳结果。这表明噪声潜变量的结合是有效的，而时间位置嵌入则不是必需的。

其次，研究团队探索了通过因子w缩放EF-Net产生的帧级特征的效果。结果表明，简单的缩放可能会降低Sci-Fi的性能。因此，在大多数情况下，保持w=1.0与训练设置一致可能是最佳选择。

这些消融实验证实了EF-Net设计的合理性和有效性，表明研究团队提出的方法在各个方面都经过了精心考虑和优化。

七、方法局限性与未来方向

尽管Sci-Fi在帧间插值任务上取得了显著成功，但它的性能仍受到其基础模型（CogVideoX-5B-I2V）生成能力的限制。在处理涉及快速或大规模人体运动以及小物体运动的场景时，保持一致的动态和外观仍然具有挑战性。

一种潜在的改进方法是扩大模型规模，但这会带来更多的计算成本。例如，最近提出的工业模型Wan2.1-FLF2V-14B能够带来更好的视觉效果，减少中间内容的失真，但其推理消耗也大大增加。

对于帧间插值，设计在各种场景中都能很好工作的高效方法仍然具有挑战性，值得社区进一步研究。

八、总结与展望

Sci-Fi框架通过实现对称的起始-结束帧约束，显著提高了帧间插值的质量。它处理起始帧的方式与以往相同，同时使用改进的注入机制增强结束帧的约束力。这种创新方法在不增加大量训练消耗的情况下，生成了更加和谐的过渡效果。

研究团队提出的EF-Net模块能够高效地编码结束帧并将其扩展为时间自适应的帧级特征，注入到I2V-DM中。这使得结束帧能够强有力地影响中间内容，与起始帧形成对称约束。

广泛的实验证实了Sci-Fi在各种场景下的优越性，无论是处理车辆移动、人物动作、动物奔跑还是卡通角色的表情变化，Sci-Fi都能表现出色。此外，用户研究也表明，人们强烈偏好Sci-Fi生成的视频。

这项技术的应用前景十分广阔，不仅可以用于电影制作、动画创作，还能应用于视频内容编辑等领域，大大节省人力成本。未来的研究方向包括进一步提高模型在处理复杂场景时的性能，以及设计更加高效的算法，在保持生成质量的同时减少计算消耗。

对于有兴趣深入了解这项研究的读者，可以访问项目GitHub页面：https://github.com/GVCLab/Sci-Fi，或通过arXiv平台（arXiv:2505.21205v1）查阅完整论文。