字节跳动MAGREF：革命性技术让你的照片变身栩栩如生的视频，还能保持多个人物与物体的精准特征

在视频内容创作成为当下热门趋势的背景下，来自字节跳动智能创作团队的研究者们带来了一项突破性的技术——MAGREF（Masked Guidance for Any-Reference Video Generation，基于遮罩引导的任意参考视频生成）。这项研究于2025年5月29日发布在arXiv预印本平台（arXiv:2505.23742v1），由Yufan Deng、Xun Guo、Yuanyang Yin、Jacob Zhiyuan Fang、Yiding Yang、Yizhi Wang、Shenghai Yuan、Angtian Wang、Bo Liu、Haibin Huang和Chongyang Ma共同完成。有兴趣深入了解的读者可以通过项目主页https://magref-video.github.io/magref.github.io/获取更多信息或访问GitHub仓库https://github.com/MAGREF-Video/MAGREF下载代码和模型。

如果你曾经想让照片中的人物或物体"活起来"，却发现现有技术要么只能处理单一主体，要么生成的视频质量不高，那么MAGREF可能正是你期待已久的解决方案。想象一下，你只需提供几张照片和一段文字描述，就能生成一段高质量的视频，其中的人物、物体和背景都与照片中的几乎一模一样，并且按照你的文字指示自然地动起来。这听起来是不是很神奇？

传统的视频生成技术主要分为两大类：文本到视频（T2V）和图像到视频（I2V）。前者根据文字描述生成视频，后者则从一张静态图像（通常是第一帧）出发创建动态画面。但随着用户需求的不断演变，人们越来越希望能够使用多张参考图像来精确控制视频中的视觉外观和身份特征。这就带来了两个关键挑战：一是如何在各种参考图像组合下保持生成的稳定性，避免主体与背景之间的语义不匹配或由于参考输入冲突导致的视觉不一致；二是如何确保细粒度的身份一致性，在整个视频中保持每个主体的连贯和详细外观，包括面部结构和配饰等细微特征。

MAGREF团队提出了一种优雅的解决方案。首先，他们构建了一个空白画布，并在上面随机放置每个提供的主体参考图像。接着，他们引入了一种区域感知动态遮罩策略，这个策略就像是一个精确的导航系统，告诉模型每个主体在画布上的空间位置。这种方法建立了参考图像信息与视频合成过程中的时间动态之间的桥梁，确保生成的视频能够保持一致性。

想象你在教一个孩子画一幅复杂的图画，你可能会给他一张有轮廓的纸，告诉他："这个区域画人物，那个区域画背景，这里画猫咪。"MAGREF的区域感知动态遮罩策略就像这样的指导，它明确地告诉模型每个元素应该出现在哪里，这样模型就能更好地理解和处理复杂的图像关系。

除此之外，MAGREF还采用了像素级的通道拼接机制，在通道维度上处理参考编码，显著增强了外观保真度。这有点像是把一张照片的每一个细节都精确地映射到视频的每一帧中，确保面部特征、服装纹理等细节都能被完美保留。与之前的方法相比，这种机制只需要对模型架构进行最小的修改，最大限度地保留了预训练模型的能力，为多主体视频合成提供了一个强大而灵活的解决方案。

接下来，让我们深入了解MAGREF的核心技术，看看它是如何实现这些令人印象深刻的功能的。

一、数据准备：打造高质量的训练基础

在构建先进的视频生成模型之前，首先需要准备高质量的训练数据。MAGREF团队开发了一个三阶段的数据处理流程，专门用于提取训练视频中的人脸、物体和背景，为多主体视频生成任务提供丰富的素材。

在第一阶段，团队对原始视频进行了严格的过滤和处理。想象你在筛选珍贵的照片，只保留最清晰、最有价值的那些。研究团队首先使用场景变化检测将每个视频分割成多个片段，然后评估每个片段的美学质量和运动幅度，丢弃那些视觉效果差或几乎没有动作的片段。对于保留下来的视频片段，他们使用Qwen2.5-VL模型生成描述其整体内容的文字说明，特别关注动作方面。

第二阶段专注于物体处理。就像一位细心的考古学家小心翼翼地挖掘和记录每一件文物，研究团队使用Qwen2.5-VL从视频说明中识别物体标签（如猫、帽子等），然后利用GroundingDINO检测每个物体的边界框，并用SAM2将其分割成参考图像。为了减少噪音，他们对遮罩进行了精细调整，移除了与人类相关或过小/形状异常的物体，并应用非极大值抑制（NMS）消除与人脸重叠超过25%的区域。

第三阶段则聚焦于人物主体。研究团队使用InsightFace在视频片段的所有帧和相邻片段中检测人脸，并使用面部嵌入向量进行身份（ID）分配。面部朝向属性（如偏航角、俯仰角和翻滚角）帮助过滤掉倾斜或低质量的检测结果。对于每个ID，他们根据检测置信度和姿势质量对人脸进行排序，并均匀采样10个作为候选集。

最终，每个训练样本包含一组物体分割遮罩、人物分割遮罩、裁剪的人脸和相应的文本标签。正式地说，训练数据被定义为：R_i = {C_i, I^Face_i, I^Obj_i,1, I^Obj_i,2, ..., I^Obj_i,k}，其中C_i表示文本标签，I^Face_i表示裁剪的人脸参考，I^Obj_i,j对应物体参考。每个训练样本都与相应的视频片段配对，确保参考数据与视频内容之间的一致性。

通过这种精心设计的数据处理流程，MAGREF团队为模型提供了高质量的训练素材，为后续的视频生成任务奠定了坚实的基础。

二、核心技术：区域感知动态遮罩与像素级通道拼接

MAGREF的核心创新在于其独特的架构设计，特别是两个关键组件：区域感知动态遮罩机制和像素级通道拼接机制。这些技术共同实现了多主体视频生成的一致性和高质量。

首先，让我们了解区域感知动态遮罩机制。想象你是一位指挥交响乐团的指挥家，需要确保每个乐器在正确的时间演奏正确的音符。在多主体视频生成中，模型面临类似的挑战——它需要知道每个主体应该出现在哪里，以及如何随时间变化。MAGREF的区域感知动态遮罩机制就像是一份详细的乐谱，精确指导模型如何处理每个主体。

具体来说，研究团队首先将所有参考图像放置在一个空白画布上的不同空间位置，然后使用VAE（变分自编码器）对组合图像进行编码，获取其潜在表示。同时，他们生成一个对应的二进制遮罩，指示每个主体在布局中的空间位置。这个遮罩明确地告诉模型每个主体的存在和空间位置，同时保持与原生I2V（图像到视频）建模范式的兼容性。

为了避免模型过度拟合固定的空间排列，并提高对不同数量和顺序的主体的泛化能力，研究团队在训练过程中应用了随机洗牌策略。就像打乱扑克牌一样，主体区域在遮罩图中的空间位置被随机置换。这鼓励模型依赖于遮罩引导的特征而不是仅依赖空间位置，使其对画布上主体的组合和顺序不敏感。

与先前通过时间序列注入参考图像或在分块后附加视觉标记的方法不同，MAGREF的区域感知动态遮罩机制通过保留像素对齐的空间结构并支持可变数量的主体，实现了灵活且一致性强的条件控制。

接下来是像素级通道拼接机制。实现连贯且保持身份一致性的多主体视频生成需要每个主体的精确身份感知信息。现有方法要么沿着时间维度注入参考图像的VAE表示，要么在分块后沿着标记维度连接参考图像的视觉标记。然而，这些策略带来了一个关键挑战：将参考图像作为额外帧或连接标记会扰乱原始位置嵌入，特别是在处理不同数量的参考图像时。结果，模型难以正确解释多主体条件，导致生成的视频与提供的参考图像之间的不一致。

MAGREF引入了一种轻量级但有效的策略，应用像素级遮罩并通过通道拼接将它们组合。与之前沿着标记维度连接参考图像并依赖自注意力机制的方法不同，MAGREF的方法在参考图像和生成的视频之间建立了像素级对齐，确保更好地保留每个主体的独特身份。

形式上，假设有N个参考图像{I_1, I_2, ..., I_N}对应N个不同的主体。这些图像被随机组合成一个单一的组合图像I_ref。为了匹配视频帧的时间维度，对组合图像沿时间轴应用零填充。然后，填充后的组合图像由VAE编码器E(·)处理，生成统一的潜在特征图：F_ref = E(I_ref) ∈ R^(T×C×H×W)，其中T、C、H和W分别表示特征图的帧数、通道数、高度和宽度。这个过程确保参考图像表示与视频帧在时间上对齐，促进了参考特征在整个视频序列中的无缝集成。

接下来，原始视频帧通过相同的VAE编码器E(·)处理，产生潜在特征图。然后，对这些潜在特征添加高斯噪声，得到Z ∈ R^(T×C×H×W)，其中T表示帧数。此外，设M ∈ R^(T×4×H×W)为遮罩序列。

最后，将噪声视频潜在特征Z、参考图像表示F_ref和特征遮罩M沿通道维度连接，构建最终输入F_input：F_input = (Z ⊕ F_ref ⊕ M) ∈ R^(T×(2C+4)×H×W)，其中⊕表示通道维度上的连接。

这个组合输入F_input随后被馈送到框架的后续模块，促进连贯且保持身份的多主体视频生成。

通过这两种创新机制的结合，MAGREF实现了对多主体视频生成的精确控制，确保每个主体在生成的视频中保持其独特的视觉特性和身份一致性。

三、实验评估：MAGREF的卓越表现

为了全面评估MAGREF的性能，研究团队进行了广泛的实验，包括定量和定性评估，与现有的开源和商业基线进行了比较。结果表明，MAGREF在多主体视频生成任务上表现卓越，特别是在身份保持和视觉质量方面。

研究团队首先构建了一个系统的基准测试集，以全面评估模型在单ID和多主体设置下的视频生成能力。基准测试包含120个主体-文本对，分为两大类：单ID组包含60个具有单一ID参考图像的测试案例，而多主体组包含60个多样化且具有挑战性的案例，涵盖双人、三人以及人物-物体-背景混合场景。部分案例改编自ConsisID和A2-Bench，其余则经过精心策划，确保覆盖各种主体类型、背景环境和交互模式。每个案例包含不超过三张参考图像，以及保持高美学质量和语义对齐的自然语言提示。

在评估指标方面，研究团队从四个关键维度评估生成视频的质量：

1. 身份保持：使用FaceSim计算从预训练人脸识别模型（如ArcFace）提取的人脸嵌入向量之间的余弦相似度，评估生成的主体身份在帧间的保持程度。

2. 视觉质量：采用美学评分，该指标通过利用在高质量图像数据集上训练的学习美学预测模型，反映人类感知偏好，为整体视觉吸引力和构图提供代理。

3. 文本相关性：使用GmeScore，这是基于为视觉语言对齐微调的Qwen2-VL模型构建的检索型指标，测量生成的视频内容与其对应长形式文本提示之间的语义一致性。

4. 运动强度：通过测量帧间光流的平均幅度计算运动得分，捕捉整体运动强度，反映生成视频的动态程度。

这些指标共同提供了一个全面的评估框架，共同评估身份一致性、感知质量、语义对齐和时间动态。

定量结果显示，MAGREF在关键指标上实现了最先进的性能。特别是在面部相似度（FaceSim）方面，MAGREF建立了新的最高标准，单ID场景达到0.567，多主体场景达到0.581，优于所有现有方法。值得注意的是，当提供多个参考图像时，性能显著提升，突显了模型在零样本方式下捕获和维持纠缠身份特征的强大能力。

在美学评分方面，MAGREF也实现了与所有现有方法相当或更好的性能，特别是在多主体设置下。运动得分捕捉了生成视频的动态性，往往与美学得分相互影响。例如，SkyReels-A2实现了相对较高的运动得分，但美学得分较低，表明运动动态和视觉质量之间存在权衡。相比之下，MAGREF在这两个方面之间取得了更好的平衡，保持了连贯的运动和高视觉保真度。

由GmeScore测量的文本-视频对齐显示，MAGREF的性能与顶级方法相当，单ID场景达到0.716，多主体场景达到0.691，表明生成的视频准确遵循给定的文本指令。

在定性评估方面，MAGREF生成的视频展示了令人印象深刻的视觉质量和身份一致性。无论是单ID还是多主体场景，模型都能准确捕捉参考图像中的视觉属性，如面部特征、发型、配饰和环境上下文，同时遵循文本提示中的指示。例如，在单ID场景中，模型能够保持主体的金发和与花丛的互动，精确遵循提示。在多主体场景中，模型能够处理复杂的场景，包括多个人物、物体和背景的交互，生成符合上下文且视觉吸引人的运动。

与开源和商业基线的对比进一步证明了MAGREF的优势。在单ID视频生成任务中，MAGREF在域外场景中展示了卓越的性能，在文本-动作对齐、视觉质量和身份一致性方面取得了最佳结果。对于多主体视频生成，MAGREF继续优于现有方法，能够准确捕捉人物、物体和环境之间的交互，生成上下文适当且视觉吸引人的运动。

通过消融研究，研究团队验证了MAGREF的两个关键贡献：区域感知动态遮罩机制和像素级通道拼接机制的有效性。结果表明，区域感知动态遮罩机制保持了身份一致性和视觉连贯性，而传统的香草遮罩机制则导致时间不一致性和身份漂移。同样，像素级通道拼接展示了优越的身份保持能力，特别是在恢复细粒度面部结构方面，而标记级连接则稀释了身份特定线索，导致生成输出中的不一致。

总的来说，实验评估证明了MAGREF在多主体视频生成任务中的强大能力，特别是在保持视觉一致性和身份保真度方面。模型能够从单主体训练泛化到复杂的多主体场景，保持连贯的合成和对个体主体的精确控制。

四、未来展望与局限性

尽管MAGREF在多主体视频生成领域取得了显著进展，但研究团队也认识到当前技术的一些局限性和未来的改进方向。

首先，生成视频的整体质量在很大程度上受限于底层视频基础模型的能力。虽然MAGREF提供了一个模型不可知的框架，可以集成到各种视频生成骨干网络中，但视觉保真度和时间稳定性仍然受到所使用基础模型的影响。

展望未来，研究团队计划纳入更先进的基础模型，以增强分辨率、运动连贯性和长期一致性。他们还计划通过利用多模态大型语言模型（MLLMs）的推理和定位能力，扩展MAGREF以支持统一的多模态生成，实现视频、音频和文本的同步生成。

此外，虽然MAGREF在各种测试场景中表现出色，但对于极其复杂的多主体交互或非常特殊的视觉风格，可能仍存在挑战。继续扩大和多样化训练数据集，以及开发更先进的遮罩生成技术，可能进一步提高模型在这些边缘情况下的性能。

最后，研究团队认识到，随着生成技术变得越来越强大，确保负责任使用变得越来越重要。未来的工作还应关注开发更强大的保障措施，防止模型被用于创建误导性或有害内容，同时保持其作为创意工具的实用性。

五、总结

归根结底，MAGREF代表了视频生成技术的一个重要进步，特别是在处理多主体场景方面。通过结合像素级通道拼接和区域感知动态遮罩机制，研究团队创建了一个能够从各种参考图像和文本提示生成高质量、身份一致视频的统一框架。

广泛的实验表明，MAGREF不仅在单ID场景中表现出色，还能有效泛化到复杂的多主体组合，保持连贯的合成和对个体主体的精确控制。与现有开源和商业系统的比较进一步证明了这种方法的优越性，特别是在保持视觉一致性和身份保真度方面。

对于普通用户来说，MAGREF的出现意味着创建个性化视频内容的门槛将大大降低。无需专业的视频编辑技能，用户只需提供几张照片和简单的文字描述，就能生成高质量、自然流畅的视频，其中的人物和物体都保持与原始照片中相同的外观和特征。这不仅为个人创意表达提供了新的可能性，也为内容创作者、市场营销人员和教育工作者提供了一个强大的工具。

随着这项技术的不断发展和完善，我们可以期待在不久的将来看到更加令人惊叹的视频生成应用，使得"让照片动起来"不再是科幻小说中的情节，而是每个人都能轻松实现的现实。

你是否想过，当这种技术进一步普及后，我们对"真实"视频的认知会如何改变？又或者，这类技术会如何重塑我们创建和消费视觉内容的方式？这些都是值得我们深思的问题。

如果你对MAGREF的技术细节感兴趣，可以访问项目主页https://magref-video.github.io/magref.github.io/或GitHub仓库https://github.com/MAGREF-Video/MAGREF获取更多信息，包括代码实现和预训练模型。