阿里巴巴研究团队突破多角色面部动画技术：让照片中的多个人物同时"活"起来

这项由阿里巴巴集团高德地图团队的王强、王梦超、江凡等研究人员，与北京邮电大学的范雅琪、齐永刚教授合作完成的研究，发表于2025年7月的arXiv预印本平台。有兴趣深入了解的读者可以通过论文链接https://fantasy-amap.github.io/fantasy-portrait/访问完整研究成果。

回想一下电影制作中的经典场景：导演需要让一张老照片中的人物"活"起来，眨眼、微笑、说话，仿佛真的在与观众对话。现在，这种魔法般的技术已经从科幻电影走入现实。更令人兴奋的是，研究团队不仅能让单个人物动起来，还能让一张合影中的所有人同时展现不同的表情和动作，就像一场精心编排的群体表演。

传统的照片动画技术就像是给木偶戏演员戴上面具表演，需要精确的面部轮廓定位和三维建模。这种方法在处理不同种族、年龄或性别的人物时经常出现问题，就像让一个演员戴着另一个人的面具表演，总是显得不自然。更麻烦的是，当照片中有多个人物时，传统技术往往会混乱，让一个人的表情意外地"传染"给另一个人，造成奇怪的效果。

研究团队开发的FantasyPortrait系统就像是一位经验丰富的导演，能够同时指导多个演员进行不同的表演，而且每个演员都能完美地保持自己的特色。这套系统的核心创新在于采用了一种全新的"隐式表情控制"方法，不再依赖传统的面部轮廓定位，而是通过理解表情背后的情感本质来实现动画效果。

一、揭秘隐式表情控制的魔法

想象你正在学习如何模仿不同的表情。传统方法就像是有人告诉你"把嘴角向上提2厘米，眼角向下压1厘米"，这种机械式的指导很难产生自然的表情。而FantasyPortrait采用的隐式表情控制更像是一位优秀的表演教练，不告诉你具体的肌肉动作，而是让你感受"开心"、"惊讶"或"思考"的情感状态，然后自然地表达出来。

这种方法的优势在于它能够捕捉到表情的"精神内核"，而不仅仅是表面的肌肉运动。研究团队从参考视频中提取了四类关键的表情信息：嘴唇运动、眼神和眨眼、头部姿态，以及最重要的情感表达。这就像是一个全面的表演指南，涵盖了构成自然表情的所有要素。

为了让系统更好地学习复杂的表情变化，研究团队设计了一个"表情增强学习"模块。这个模块就像是一位专业的表演老师，特别擅长指导那些最难掌握的表情技巧。系统发现，简单的动作如头部转动和眼球运动相对容易学会，但复杂的嘴唇动作和细腻的情感表达需要更多的关注和训练。

因此，系统会对嘴唇运动和情感表达进行特殊的"小班教学"。它使用可学习的标记符号来分解这些复杂的表情元素，就像把一个复杂的舞蹈动作分解为若干个基本步骤，然后通过多头交叉注意力机制让每个步骤都能与视频内容建立精确的对应关系。这种方法让系统能够掌握最细微的表情变化，从微妙的嘴角上扬到深沉的眼神变化。

二、多角色动画的协调指挥术

如果说单人动画是独角戏，那么多人动画就是一场需要精密协调的群体表演。研究团队面临的挑战就像是同时指导多个演员在同一个舞台上表演，每个人都有自己的台词和动作，但又不能互相干扰。

传统的多人动画技术经常出现"串戏"的问题，就像舞台上的演员突然说出了别人的台词，或者做出了不属于自己角色的动作。这种现象被称为"表情泄漏"，是多人动画技术中的一个重大难题。

FantasyPortrait通过一种巧妙的"遮罩交叉注意力"机制解决了这个问题。这个机制就像是给每个演员分配了一个专属的聚光灯，确保每个人只能看到和响应属于自己的指导信号。具体来说，系统会为每个人物创建一个精确的面部区域遮罩，这个遮罩就像是一个隐形的边界，防止不同人物的表情信号互相混淆。

在处理多人动画时，系统首先会识别照片中的每个人物，然后为每个人提取独立的表情特征。这些特征会被串联成一个统一的多人表情序列，但每个人的特征都保持着清晰的身份标识。随后，遮罩交叉注意力机制会确保每个人物只接收到属于自己的动画指令，就像是每个演员都戴着一副只能听到自己导演声音的耳机。

三、技术架构的精妙设计

FantasyPortrait的技术架构就像是一个精密的电影制作流水线，每个环节都经过精心设计。整个系统建立在扩散变换器（Diffusion Transformer）的基础上，这是当前最先进的视频生成技术之一。

系统的工作流程就像是一个专业的动画制作过程。首先，它会使用一个预训练的视觉编码器来理解输入的静态照片，就像是一位资深的摄影师快速分析照片的构图和人物特征。接着，系统会从参考视频中提取表情信息，这个过程就像是一位表演指导观看演员的表演并记录下关键的表情要素。

表情信息提取完成后，系统会进入表情增强学习阶段。这个阶段就像是一位专业的表演教练，会特别关注那些最难掌握的表情技巧。系统使用可学习的标记符号来分解复杂的表情元素，然后通过多头交叉注意力机制建立精确的对应关系。

对于多人动画，系统会为每个人物创建独立的表情嵌入，然后通过遮罩交叉注意力机制确保每个人物都能独立且协调地执行动画指令。这个过程就像是一位经验丰富的舞台导演，能够同时指导多个演员进行不同的表演，而且每个演员都能完美地保持自己的角色特色。

四、突破性的数据集和评估体系

为了训练和评估这种先进的多人动画技术，研究团队构建了两个重要的数据集：Multi-Expr数据集和ExprBench评估基准。这就像是为演员们准备了丰富的剧本和专业的考试题目。

Multi-Expr数据集是专门为多人表情动画设计的训练素材库，包含了大约30000个高质量的视频片段。这些视频都经过了严格的筛选和处理，确保其中包含清晰的多人表情变化。数据集的构建过程就像是一位挑剔的导演在海量的试镜录像中寻找最优秀的表演片段。

研究团队使用YOLO目标检测算法来识别视频中的人物数量，只保留包含两个或更多人物的片段。然后，他们使用美学评分和拉普拉斯算子来过滤掉模糊或质量较差的视频。最后，系统会分析面部关键点的运动变化，选出那些包含丰富表情变化的片段。

ExprBench评估基准就像是一套全面的表演考试，分为单人和多人两个部分。单人部分包含200张肖像照片和100个驱动视频，多人部分包含100张合照和50个驱动视频。这些测试材料涵盖了各种风格的人物照片，从真实的人像到卡通角色，从录音室场景到舞台表演。

五、实验结果：技术实力的全面验证

研究团队将FantasyPortrait与多个现有的肖像动画方法进行了全面比较，结果就像是一场技术实力的全面展示。在所有的评估指标中，FantasyPortrait都表现出了明显的优势。

在图像质量方面，FantasyPortrait的FID（弗雷歇特起始距离）得分为64.66，明显优于其他方法。FID得分就像是图像质量的"颜值评分"，分数越低说明生成的图像质量越高。相比之下，传统的方法如FollowYE的得分高达103.75，显示出明显的差距。

在表情准确性方面，FantasyPortrait也表现出色。系统在表情相似度评估中获得了最佳成绩，能够准确地将参考视频中的表情特征传递到目标照片中。这就像是一位技艺精湛的模仿演员，能够完美地复制另一个人的表情和动作。

最令人印象深刻的是在跨身份重现方面的表现。当源照片和驱动视频中的人物在种族、年龄或性别上差异较大时，传统方法往往会出现明显的瑕疵。而FantasyPortrait即使在这种极具挑战性的情况下，仍然能够保持出色的表现，这得益于其隐式表情控制机制的强大适应性。

在多人动画方面，FantasyPortrait的优势更加明显。传统的多人动画方法经常出现人物间的表情混乱，而FantasyPortrait通过遮罩交叉注意力机制完美地解决了这个问题。实验结果显示，在多人场景中，FantasyPortrait的各项指标都明显优于对比方法。

六、用户体验：真实世界的认可

除了客观的技术指标，研究团队还进行了大规模的用户调研，让32位参与者对生成的动画进行主观评价。结果就像是观众对电影的真实反馈，更加贴近实际应用的需求。

用户评价涵盖了四个维度：视频质量、表情相似度、动作自然度和表情丰富度。在所有维度上，FantasyPortrait都获得了最高的评分。特别是在表情相似度和表情丰富度方面，用户给出了8.16和8.21的高分（满分10分），显著高于其他方法。

这些用户反馈证明了FantasyPortrait不仅在技术指标上表现出色，在实际使用体验上也获得了用户的认可。用户普遍认为FantasyPortrait生成的动画更加自然、表情更加丰富，特别是在处理复杂的多人场景时表现尤为突出。

七、技术细节的深入剖析

为了验证系统各个组件的重要性，研究团队进行了详细的消融实验，就像是拆解一台精密仪器来理解每个部件的作用。

表情增强学习模块的验证显示了其在复杂表情处理中的重要作用。当移除这个模块时，系统在表情准确性上出现了明显下降，特别是在处理细微的情感变化时。这证明了针对复杂表情进行特殊训练的必要性。

有趣的是，研究团队发现对所有表情特征都进行增强学习并不会带来额外的好处。相反，只对嘴唇运动和情感表达进行增强学习效果最佳。这就像是发现了训练的"黄金法则"：把精力集中在最难的部分，而不是平均分配。

遮罩交叉注意力机制的重要性在多人动画中表现得更加明显。当移除这个机制时，多人动画的质量出现了严重下降，各项指标都大幅恶化。这证明了精确的注意力控制对于多人动画的成功至关重要。

Multi-Expr数据集的价值也得到了验证。当只使用单人数据集训练时，系统在单人动画上的表现保持良好，但在多人场景中出现了明显的性能下降。这说明了专门的多人数据集对于训练高质量多人动画系统的重要性。

八、实际应用的广阔前景

FantasyPortrait的技术突破为多个行业带来了革命性的可能性。在电影制作领域，这项技术可以大大降低特效制作的成本和时间。导演可以使用历史照片创造逼真的角色动画，或者让已故的演员在新电影中"复活"。

在虚拟通信领域，这项技术能够让视频通话变得更加生动有趣。用户可以使用任何照片作为虚拟形象，系统会实时生成相应的表情动画。这对于隐私保护和个性化表达都有重要意义。

游戏行业也将从这项技术中受益匪浅。开发者可以使用真实人物的照片快速创建游戏角色，或者让玩家使用自己的照片创建个性化的游戏化身。多人动画技术还能够支持更复杂的多角色互动场景。

在教育和培训领域，这项技术可以让历史人物"复活"，参与到教学过程中。学生可以与历史上的伟人进行虚拟对话，或者观看历史事件的模拟重现。

九、技术挑战与未来展望

尽管FantasyPortrait在技术上取得了显著突破，但研究团队也坦诚地指出了当前的局限性。首先是计算效率问题。由于采用了扩散模型的迭代采样过程，系统的生成速度相对较慢，这在实时应用场景中可能会成为限制因素。

研究团队正在探索各种加速策略，包括优化采样算法、使用更高效的模型架构，以及开发专门的硬件加速方案。他们的目标是在保持高质量的同时，将生成速度提升到实时水平。

另一个重要考虑是技术的伦理应用。高逼真度的人像动画技术可能被恶意使用，创造虚假的视频内容。研究团队强调了开发相应检测和防御机制的重要性，以确保技术的负责任使用。

在技术发展方向上，研究团队计划进一步提升系统的泛化能力，让它能够处理更多样化的输入内容，包括艺术作品、雕塑，甚至是手绘图像。他们还在探索如何让系统理解和生成更复杂的情感表达，包括微表情和文化特定的表达方式。

说到底，FantasyPortrait代表了人工智能在视觉内容生成领域的一个重要里程碑。它不仅解决了多人肖像动画这一技术难题，更为我们展示了AI技术在创意表达和人机交互方面的巨大潜力。随着技术的不断完善和应用场景的不断拓展，我们可以期待看到更多令人惊叹的创新应用出现。

这项研究的成功也提醒我们，在享受技术进步带来便利的同时，需要始终保持对技术伦理的关注和思考。只有在负责任的框架下使用这些先进技术，我们才能真正实现技术为人类福祉服务的目标。有兴趣深入了解这项技术的读者，可以访问研究团队的项目页面https://fantasy-amap.github.io/fantasy-portrait/，获取更多详细信息和演示视频。

Q&A

Q1：FantasyPortrait是什么？它能做什么？ A：FantasyPortrait是阿里巴巴团队开发的AI肖像动画系统，能够让静态照片中的人物"活"起来，展现各种表情和动作。特别是它能同时让一张合影中的多个人物进行不同的表情动画，就像让每个人都有自己的表演，而且不会互相干扰。

Q2：这项技术会不会被恶意使用制作虚假视频？ A：研究团队确实意识到了这个风险。高逼真度的人像动画技术可能被用来制作虚假内容，因此他们强调需要开发相应的检测和防御机制。同时呼吁在负责任的框架下使用这些技术，确保技术为人类福祉服务而不是被恶意利用。

Q3：普通用户如何使用这项技术？有什么要求？ A：目前FantasyPortrait还处于研究阶段，普通用户可以通过项目页面https://fantasy-amap.github.io/fantasy-portrait/了解技术详情和观看演示视频。研究团队提供了相关的数据集和评估基准，技术开发者可以基于这些资源进行进一步的开发和应用。