AnimeShooter：香港大学与腾讯ARC实验室联合开发的多镜头动画数据集，为参考引导式视频生成开辟新天地

这项由香港大学的陆秋、李以卓、刘熙辉和腾讯PCG ARC实验室的葛玉莹、葛一笑、单颖共同完成的研究《AnimeShooter: A Multi-Shot Animation Dataset for Reference-Guided Video Generation》已于2025年6月3日发布于arXiv预印本平台（arXiv:2506.03126v1），目前正在学术审核中。有兴趣深入了解的读者可以通过项目官网（https://qiulu66.github.io/animeshooter/）获取更多信息。

**一、为什么我们需要一个全新的动画数据集？**

想象一下，你正在尝试做一道复杂的料理，但手边的食谱只告诉你大致的步骤，没有具体的配料比例，也没有成品图片作为参考。这就是当前AI动画创作者面临的困境。

人工智能生成内容（AIGC）技术近年来取得了长足进步，极大地加速了动画制作流程。然而，要创作出引人入胜的动画作品，关键在于能否生成具有叙事连贯性的多镜头视频片段，同时保持角色形象的一致性。遗憾的是，现有的公开数据集存在三个关键短板：首先，它们主要关注真实世界场景，内容大多来自网络视频；其次，它们通常只提供全局性描述，无法满足多镜头叙事的需求；最重要的是，它们缺乏保持角色一致性所必需的参考图像。

为了弥补这一空白，香港大学和腾讯ARC实验室的研究团队创建了AnimeShooter，这是一个专为参考引导式多镜头动画生成设计的数据集。它就像是一本完整的动画"食谱"，不仅告诉你需要什么"食材"（角色、场景），还提供了详细的"步骤说明"（多镜头分解），以及"成品参考图"（角色参考图像）。

**二、AnimeShooter数据集的独特之处**

AnimeShooter数据集就像一个精心设计的乐高积木套装，不仅提供了各种形状和颜色的积木（视频片段），还附带了详细的组装指南（多层次注释）和成品参考图（角色参考图像）。

这个数据集采用了层次化的注释结构，分为故事级别和镜头级别两个层次。在故事级别，每个样本包含一个完整的故事情节概述、主要场景描述，以及带有参考图像的详细角色简介。想象一下，这就像是你在开始拍摄前准备的剧本大纲和角色设定。

整个故事被分解成有序的连续镜头。对于每个镜头，镜头级别注释指定了场景、涉及的角色，以及两种形式的详细视觉说明：叙事性说明（描述情节发展）和描述性说明（描述视觉细节）。如果把整个动画比作一顿大餐，那么每个镜头就是一道精心准备的菜肴，而这些注释则是详细的烹饪步骤。

更值得一提的是，AnimeShooter-audio这个子集为每个镜头提供了同步的音频，以及相应的音频描述和声音来源。就像是为每道菜肴配上了独特的香料和调味品，让整体体验更加丰富。

这个数据集是如何构建的呢？研究团队开发了一个自动化管道：首先从YouTube收集并筛选多样化的大规模动画电影，然后利用Gemini生成层次化故事脚本，包括故事级别和镜头级别的注释。角色参考图像通过采样关键帧、使用Sa2VA分割角色（通过角色ID/外观提示），并通过InternVL过滤确保质量。这就像是一个工业化的动画工厂，高效地收集、处理和组织所有必要的元素。

**三、AnimeShooter的统计数据展示**

AnimeShooter数据集的规模令人印象深刻。整个数据集包含29,000个视频，平均每个视频长度为286.57秒。这些视频通常被分成5.07个片段，每个片段大约一分钟长，作为代表一个故事的独立样本。

这些故事单元平均长度为56.72秒，平均包含2.26个主要角色、2.2个主要场景和14.82个镜头。每个镜头平均时长为3.85秒，配有平均10.62字的叙事说明和30.8字的描述性说明，总计41.42个词。想象一下，这就像是一个巨大的动画图书馆，每个故事都被精心编目，便于AI模型学习和生成新内容。

**四、AnimeShooterGen：基于AnimeShooter的基准模型**

为了验证AnimeShooter数据集的实用价值，研究团队还开发了一个名为AnimeShooterGen的基准模型。这个模型就像是一个学习了所有"烹饪食谱"的大厨，能够根据给定的"食材"（参考图像）和"烹饪指南"（文本描述）创作出连贯的"料理"（动画视频）。

AnimeShooterGen基于多模态大语言模型（MLLM）和视频扩散模型构建。它的工作方式类似于一个讲故事的人，不仅记住前面讲过的内容，还能保持角色形象的一致性。模型的生成过程是自回归式的，就像从故事的开头一步步讲到结尾。

具体来说，MLLM首先处理三个输入：用户提供的参考图像（角色外观）、累积的先前上下文（已生成的故事部分）和当前镜头的文本说明。然后，它生成同时捕捉角色特征和上下文的表示，作为扩散模型解码下一个镜头的条件。这就像是一个既记住故事发展又保持角色一致性的讲故事高手。

研究团队设计了一个多阶段的训练策略，以弥合真实世界到动画领域的差距，并实现自回归式多镜头视频生成。简单来说，这个过程分为四个阶段：条件对齐（让MLLM和扩散模型"说同一种语言"）、单镜头训练（学习从参考图像提取角色特征）、多镜头训练（学习跨镜头保持一致性）和LoRA增强（针对特定IP进行微调）。

**五、实验结果：AnimeShooterGen的表现如何？**

为了评估模型性能，研究团队收集了20部具有不同知识产权（IP）的动画电影。对于每个IP，他们手动注释了5-6个短片段用于模型微调，并使用DeepSeek生成了10个独特的叙事提示，每个提示描述一个由4个连贯镜头组成的故事。这样，他们创建了一个包含200个故事（共800个视频镜头）的测试集。

在定量比较中，AnimeShooterGen在自动指标评估（CLIP得分和DreamSim）和多模态大语言模型评估（GPT-4o和Gemini 2.5 Pro）方面都优于比较方法。用户研究也证实了这一点。AnimeShooterGen在四个评估维度上都取得了最高分：整体质量、角色-参考一致性、多镜头风格一致性和多镜头上下文一致性。

这些结果突显了AnimeShooterGen的两个主要优势：首先，增强的参考图像对齐。AnimeShooterGen实现了明显更高的角色一致性，证明MLLM条件能有效编码参考图像特征。其次，跨镜头视觉连贯性。MLLM的记忆机制保留了跨镜头的历史上下文，使高级语义对齐能够指导扩散过程生成风格和上下文一致的新镜头。

在定性比较中，其他方法在保持角色与参考图像的一致性和跨镜头连贯性方面存在明显局限。例如，IP-Adapter + I2V方法难以保持与提供的参考图像的一致性，而CogVideo-LoRA也无法与参考图像保持一致。这两种方法都将每个镜头作为独立过程生成，导致镜头之间存在明显不一致。相比之下，AnimeShooterGen保持了优越的参考保真度和跨镜头的风格及环境元素一致性。

**六、结论与未来展望**

总的来说，AnimeShooter数据集填补了参考引导式多镜头动画生成领域的空白。通过大规模具有视觉一致性的多镜头视频、用于角色身份的准确参考图像，以及全面的故事和镜头级别注释，这个数据集为动画生成研究开辟了新的可能性。

AnimeShooterGen证明了在AnimeShooter上训练的模型能够有效学习跨镜头视觉一致性并遵循指定的参考。当然，当前的方法也存在一些局限性，包括AnimeShooterGen无法进行开放域生成（由于计算需求）、需要测试时微调来增强角色一致性，以及由于简单的零样本音频生成方法导致的次优音视频同步。

研究团队期望AnimeShooter能够促进更强大的开放域模型的开发，这些模型具有改进的音视频对齐和角色保真度。未来的研究方向可能包括开发更紧密集成的音视频共生成模型，以及进一步提高跨镜头的叙事连贯性和视觉一致性。

对于动画爱好者、内容创作者和AI研究人员来说，这项研究意味着动画制作的未来可能变得更加民主化和高效。想象一下，普通人只需提供角色草图和简单的故事大纲，就能生成专业质量的动画短片。这不仅可以降低动画制作的门槛，还可以激发更多创意表达和故事讲述的可能性。

这就像是从手工制作烛光到发明电灯的飞跃——AnimeShooter不仅是一个数据集，它代表着动画创作方式的一次革命性转变。而这次革命的种子，已经在香港大学和腾讯ARC实验室的合作中种下。