滑铁卢大学联合快手团队推出UniVideo：一个AI同时看懂、创作和编辑视频的"全能选手"

这项突破性研究由加拿大滑铁卢大学的Wenhu Chen教授与快手科技的Kling团队共同完成，发表于2025年10月的arXiv预印本平台，论文编号为arXiv:2510.08377v1。研究团队包括滑铁卢大学的Cong Wei和Wenhu Chen，以及快手Kling团队的Quande Liu、Zixuan Ye、Qiulin Wang、Xintao Wang、Pengfei Wan和Kun Gai等研究人员。

在人工智能飞速发展的今天，我们见证了各种专业化AI工具的涌现，从能够理解图片内容的视觉识别系统，到能够生成逼真图像的创作工具。然而，当涉及到视频这个更加复杂的媒体形式时，现有的AI系统往往只能专注于单一任务，就像一个只会做一道菜的厨师。有的AI只能"看懂"视频内容并描述出来，有的只能根据文字描述生成新视频，还有的只能对现有视频进行特定类型的编辑。这种各自为政的状况让用户在处理视频时需要在多个不同的工具之间来回切换，就像在厨房里需要用不同的锅具来完成一顿饭的制作。

滑铁卢大学和快手团队意识到这个问题，决定打造一个真正的"全能型视频AI助手"。他们开发的UniVideo系统就像一位经验丰富的视频制作大师，不仅能够理解各种复杂的多媒体指令，还能同时胜任视频理解、生成和编辑这三大核心任务。更令人惊喜的是，UniVideo还展现出了令人印象深刻的举一反三能力，能够处理训练时从未见过的新任务组合，这就像一个厨师不仅掌握了基本的烹饪技巧，还能创造性地将不同技法结合起来，制作出全新的菜品。

研究团队的核心创新在于设计了一个"双流架构"，可以理解为一个拥有两个大脑的智能系统。第一个大脑专门负责理解和思考，它是一个多模态大语言模型，就像一位博学的助手，能够理解文字、图片和视频等不同形式的信息，并进行复杂的推理。第二个大脑则专门负责创作和生成，它是一个多模态DiT模型，就像一位技艺精湛的艺术家，能够将理解到的内容转化为高质量的视频作品。

一、革命性的双流设计：让AI既会思考又会创作

UniVideo的架构设计可以比作一个高效的创意工作室，其中有两个紧密协作的团队。理解团队由多模态大语言模型担任，负责接收和分析各种形式的输入信息，包括文字描述、参考图片和视频片段。这个团队就像经验丰富的项目经理，能够准确理解客户的复杂需求，即使这些需求是通过混合的文字、图片和视频表达出来的。

创作团队则由多模态DiT模型组成，专门负责将理解到的需求转化为实际的视频作品。这个团队就像技艺精湛的制作人员，能够根据项目经理的指导创造出高质量的视频内容。两个团队之间通过精心设计的连接器进行沟通，确保理解和创作之间的无缝衔接。

这种双流设计的巧妙之处在于，理解团队通过语义编码器处理各种输入信息，提取其中的高层语义特征，而创作团队则通过VAE编码器获取精细的视觉重建信号。这就像一个建筑项目中，建筑师负责理解客户需求并设计整体方案，而工程师则负责处理具体的施工细节。两者的结合确保了最终作品既能准确体现设计意图，又能保持高品质的视觉效果。

与以往那些只依赖单一编码方式的系统相比，UniVideo的双流设计解决了一个关键问题。传统的统一模型往往像试图用一把钥匙开所有门，结果往往是在语义理解和视觉细节之间难以平衡。而UniVideo通过让专业的团队做专业的事，既保证了对复杂指令的准确理解，又确保了生成视频的视觉质量和一致性。

二、统一多样化任务：一个系统胜任所有视频工作

UniVideo最令人印象深刻的特点之一就是它能够在单一框架下处理各种不同的视频任务。研究团队通过巧妙的标准化设计，让这个系统能够像一位多才多艺的艺术家一样，无论客户要求制作什么类型的作品，都能游刃有余地完成。

在处理不同类型的输入时，UniVideo采用了一种优雅的标识系统。每个视觉输入都会被分配一个专门的ID标签，就像给每个演员分配角色编号一样。当用户要求"生成一个视频，其中<图片1>中的女士拿着<图片2>中的物品，在<视频1>的场景中活动"时，系统能够清楚地理解每个元素的作用和关系。

对于文字到视频的生成任务，系统的理解团队会处理文字描述，而创作团队则负责从噪声中逐步生成清晰的视频内容。在图片到视频的转换中，两个团队都会接收图片信息，确保生成的视频能够与原始图片保持高度一致。而在更复杂的多元素视频生成和编辑任务中，系统能够同时处理多个参考图片和视频，就像一位导演能够协调多个演员和道具来完成复杂的拍摄任务。

研究团队特别注重避免为不同任务设计专门的模块或偏置，这就像培养一位通才而不是多个专才。通过使用三维位置编码来区分条件信息和目标视频信息，系统能够自然地理解不同输入的作用，而无需额外的任务标识。这种设计使得UniVideo具有了强大的泛化能力，能够处理训练时未曾见过的任务组合。

三、独特的视觉提示理解：让AI读懂你的创意草图

UniVideo的另一个突破性功能是它能够理解和解释非传统的视觉提示。这就像拥有一位既懂艺术又懂技术的助手，能够将你在纸上画的简单草图转化为专业的制作方案。

当用户提供带有手绘标注的图片时，UniVideo的理解团队能够分析这些视觉线索，理解用户的创意意图。比如，用户在一张风景图上画了几个箭头和简单的图形来表示希望视频中出现的动作和元素，系统能够将这些视觉提示转化为详细的文字描述和制作指导。这个过程就像一位经验丰富的制片人能够理解导演的分镜草图，并将其转化为具体的拍摄计划。

这种视觉提示理解能力的实现得益于理解团队强大的多模态推理能力。系统不仅能识别图片中的基本元素，还能理解这些元素之间的空间关系、时间顺序和动作意图。当用户在图片上标注"这里应该有爆炸效果"或"摄像机从这个角度拍摄"时，系统能够将这些抽象的指示转化为具体的视频生成参数。

与那些需要用户提供精确文字描述的传统系统相比，UniVideo的这种能力大大降低了使用门槛。用户无需掌握专业的视频制作术语，只需要用最直观的方式表达自己的想法，系统就能理解并实现。这就像拥有了一位能够读懂你内心想法的助手，让创意表达变得更加自然和直观。

四、分阶段训练策略：从基础到精通的学习历程

UniVideo的训练过程就像培养一位专业的视频制作人员，需要经历从基础技能学习到复杂任务掌握的完整历程。研究团队设计了一个三阶段的训练方案，确保系统能够循序渐进地掌握各种能力。

第一阶段的训练重点是建立理解团队和创作团队之间的有效沟通机制。这个阶段就像让两个新同事学会如何协作，系统需要学习如何将理解团队提取的语义信息正确传递给创作团队。训练过程中使用了大约四千万个文字到图片的样本和一千万个文字到视频的样本，以及专门设计的图片重建任务。在这个阶段，除了连接两个团队的通信模块外，其他部分都保持冻结状态，确保学习过程的稳定性。

第二阶段的训练专注于提升创作质量。在确保两个团队能够有效协作的基础上，系统开始学习如何生成高质量的图片和视频内容。这个阶段使用了约一万个精心挑选的高质量样本进行精细调优，就像一位艺术家在掌握基本技法后开始追求作品的艺术性和完美度。通过这个阶段的训练，UniVideo能够达到与专业视频生成模型相媲美的质量水平。

第三阶段是最关键的多任务统一训练。在这个阶段，系统需要学习如何在单一框架下处理各种不同的视频任务，包括情境视频生成、情境视频编辑、图片编辑和图片到视频转换等。这就像培养一位全能型艺术家，不仅要掌握单一技能，还要学会将不同技能有机结合。训练数据涵盖了从基础的文字到图片生成，到复杂的多元素视频编辑等各种任务类型，确保系统能够理解和处理各种复杂的多模态指令。

五、令人惊艳的实验成果：全面超越专业化系统

UniVideo在各项测试中展现出的性能令研究界为之瞩目。在视频理解任务中，得益于强大的多模态大语言模型基础，UniVideo在MMBench、MMMU和MM-Vet等权威测试中分别取得了83.5、58.6和66.6的高分，这些成绩不仅展现了系统强大的理解能力，更证明了统一架构并没有牺牲专业化性能。

在视频生成质量方面，UniVideo在VBench测试中获得了82.58的评分，这个成绩与当前最先进的专业视频生成模型相当。更重要的是，UniVideo能够在保持高质量的同时支持多种不同的生成模式，从简单的文字到视频，到复杂的多元素组合生成，都能交出令人满意的答卷。

情境视频生成测试中，UniVideo展现出了卓越的身份保持能力。在单一身份的视频生成中，系统在主体一致性、提示跟随和整体质量三个维度分别获得了0.88、0.93和0.95的高分，明显超越了VACE、Kling和Pika等商业化产品。在更具挑战性的多身份视频生成中，UniVideo同样保持了领先优势，证明了其处理复杂指令的强大能力。

情境视频编辑是UniVideo展现独特优势的另一个领域。与其他需要明确标注编辑区域的系统不同，UniVideo仅通过文字指令就能实现精确的视频编辑，这种"免掩码"的编辑方式大大简化了用户操作。在身份替换、删除和风格转换等测试中，UniVideo都取得了优异的成绩，特别是在身份一致性保持方面表现突出。

六、超越训练范围的泛化能力：举一反三的智慧体现

UniVideo最令人印象深刻的特质之一是它展现出的强大泛化能力，能够处理训练时从未见过的任务类型。这种能力就像一位经验丰富的工匠，虽然学习的是基本技法，但能够创造性地将这些技法组合起来，解决全新的问题。

在自由形式视频编辑方面，尽管UniVideo的训练数据中并不包含通用的视频编辑样本，但它能够成功地将从大规模图片编辑数据中学到的知识迁移到视频领域。当用户要求"将视频中的角色变成玻璃材质"或"给视频添加绿幕效果"时，系统能够理解这些指令并生成相应的效果。这种跨领域的知识迁移能力证明了统一训练框架的有效性。

任务组合是UniVideo展现创新能力的另一个重要方面。系统能够同时执行多种编辑操作，比如在一个指令中既删除某个角色又添加新的元素，或者在进行身份替换的同时改变视频的艺术风格。这种能力就像一位多才多艺的艺术家，能够在单一作品中融合多种创作技法，创造出丰富层次的艺术效果。

研究团队通过大量实验验证了这种泛化能力的可靠性。测试结果显示，即使面对训练时从未见过的任务组合，UniVideo也能保持稳定的性能输出。这种举一反三的能力不仅证明了系统设计的科学性，也为未来的应用拓展提供了无限可能。

七、深入的技术分析：揭秘成功背后的设计智慧

为了深入理解UniVideo成功的原因，研究团队进行了全面的消融实验。这些实验就像解剖一台精密机器，目的是理解每个组件对整体性能的贡献。

多任务学习的效果验证是其中的重要内容。研究团队将UniVideo与只专注单一任务的系统进行了对比，结果显示多任务学习不仅没有降低个别任务的性能，反而在某些情况下带来了显著提升。特别是在视频编辑任务中，得益于大规模图片编辑数据的联合训练，多任务版本的性能明显优于单任务版本。这个结果证明了统一框架的价值，不同任务之间的知识共享能够带来协同效应。

视觉信息流的重要性也得到了充分验证。当研究团队尝试只将视觉信息提供给理解团队，而不传递给创作团队时，系统在身份保持方面的表现急剧下降。这个实验清楚地表明，双流设计中的两条信息通道都是必不可少的，理解团队提供语义指导，而直接的视觉信息则确保了生成结果的精确性。

训练策略的有效性也通过实验得到了证实。三阶段的训练方案相比于端到端的直接训练，不仅收敛更快，而且最终性能更优。这种分阶段学习的方式就像人类的学习过程，先掌握基础技能，再逐步提升到专业水平，最后学会灵活运用。

八、实际应用的广阔前景：重塑视频创作的未来

UniVideo的技术突破为视频创作领域带来了革命性的变化。在内容创作方面，创作者现在可以通过简单的多模态指令快速生成高质量的视频内容，而无需掌握复杂的视频编辑软件。这就像拥有了一位随时待命的专业制作团队，能够将创意想法快速转化为视觉作品。

教育培训是另一个充满潜力的应用领域。教育工作者可以利用UniVideo快速制作教学视频，通过图片、文字和简单的指令就能生成生动的教学内容。这种能力特别适合制作那些需要展示复杂过程或抽象概念的教学材料，让抽象的知识变得更加直观易懂。

在商业营销领域，UniVideo可以帮助企业快速制作产品展示视频和广告内容。营销人员只需要提供产品图片和营销要点，系统就能生成专业水准的宣传视频。这种能力对于中小企业特别有价值，能够以较低的成本获得高质量的营销内容。

娱乐产业也将从UniVideo的技术中受益。影视制作团队可以利用这个系统快速制作概念视频和预览片段，帮助投资者和观众更好地理解项目的视觉效果。独立创作者也能够通过这个工具实现更复杂的创意想法，降低专业视频制作的门槛。

九、技术挑战与未来展望：持续进化的创新之路

尽管UniVideo已经取得了显著的成功，但研究团队也清醒地认识到当前技术的局限性。在处理复杂编辑指令时，系统有时会出现过度编辑的情况，影响视频中与编辑要求无关的区域。这个问题就像一位过于热情的助手，有时会做得比要求的更多。

视频运动保持是另一个需要持续改进的方面。由于底层模型架构的限制，系统在保持原始视频运动特征方面还有提升空间。这个限制表明，未来的发展需要更强大的视频生成基础模型的支持。

自由形式视频编辑的成功率也有待提高。虽然UniVideo已经展现出了从图片编辑到视频编辑的知识迁移能力，但在处理某些复杂的视频编辑任务时，成功率仍然低于图片编辑。这提示我们需要更多专门的视频编辑训练数据和改进的算法设计。

展望未来，研究团队计划在多个方向上继续推进。首先是扩大训练数据的规模和质量，特别是增加更多样化的视频编辑样本。其次是改进底层模型架构，提升对视频时序信息的处理能力。最后是探索端到端的原生多模态模型训练，而不是依赖组装式的系统设计。

这项研究为人工智能在视频领域的应用开辟了新的道路。通过统一的框架处理多样化的视频任务，UniVideo不仅展现了技术的可能性，更重要的是为构建真正通用的多模态AI系统提供了宝贵的经验。随着技术的不断完善，我们有理由期待更加智能和易用的视频创作工具，让每个人都能成为优秀的视频创作者。

说到底，UniVideo代表的不仅仅是一个技术突破，更是人工智能发展的一个重要里程碑。它证明了统一架构在处理复杂多模态任务方面的巨大潜力，为未来构建更加智能和灵活的AI系统指明了方向。虽然还有很多技术挑战需要解决，但这项研究已经为我们展示了一个充满可能性的未来，在那里，创意表达将变得更加自由和便捷。

Q&A

Q1：UniVideo相比其他视频AI有什么特别之处？

A：UniVideo最大的特点是它是一个"全能型"系统，能够同时胜任视频理解、生成和编辑三大任务，而其他AI通常只能专门做其中一种。它采用双流架构设计，一个负责理解用户指令，一个负责创作视频，两者紧密配合，让用户可以用文字、图片、视频等多种方式给出指令，系统都能准确理解并执行。

Q2：普通人可以使用UniVideo来制作视频吗？

A：虽然UniVideo技术本身非常先进，但目前还处于研究阶段，主要在学术和研究机构使用。不过，这项技术展现出的能力表明，未来普通人确实可能通过简单的文字描述或者上传几张图片，就能快速制作出专业水准的视频内容，大大降低视频制作的技术门槛。

Q3：UniVideo能够处理哪些类型的视频编辑任务？

A：UniVideo支持多种视频编辑任务，包括在视频中添加新角色、替换现有角色、删除不需要的元素、改变视频风格等。最有趣的是，它还能进行"绿幕"效果处理、材质变换等复杂编辑，甚至能同时执行多种编辑操作。用户只需要用文字描述想要的效果，无需手动标记编辑区域，系统就能自动完成相应的编辑工作。