从视频到世界：如何将视频扩散模型转变为交互式世界模型 - 清华大学与重庆大学联合研究

在人工智能研究的前沿，一项令人兴奋的新进展正在改变我们对虚拟世界模拟的理解。清华大学的黄思乔、吴佳隆、苗尚陈和龙明盛，以及重庆大学的周启星，在2024年5月发布的研究论文《Vid2World: Crafting Video Diffusion Models to Interactive World Models》中，提出了一种将现有视频生成模型转变为交互式世界模型的全新方法。这项研究可通过项目网站http://knightnemo.github.io/vid2world/获取更多信息。

想象一下，如果我们能够拥有一个虚拟助手，它不仅能理解当前的情况，还能准确预测未来可能发生的事件。这正是世界模型（World Models）的核心功能——它们能够根据过去的观察和动作序列预测未来的状态，就像一个能够"预见"未来的数字化水晶球。这种技术在游戏模拟、自动驾驶和机器人控制等领域有着广泛的应用前景。

然而，传统的世界模型面临两大挑战：它们需要大量特定领域的训练数据，而且生成的预测往往粗糙且真实度不高。想象一下，如果你试图教一个机器人如何移动物体，你可能需要让它尝试成千上万次才能学会这项技能，而且即使这样，它的"想象力"也可能非常有限，无法很好地预测物体的物理行为。

与此同时，另一类人工智能技术——视频扩散模型（Video Diffusion Models）——在生成高质量视频方面取得了惊人的进展。通过学习互联网上海量的视频数据，像Sora、Veo-2和Stable Video Diffusion这样的模型能够创建逼真的视频内容，并在一定程度上遵循物理规律和现实世界的约束。

研究团队敏锐地意识到，如果能够将这两种技术结合起来——利用视频扩散模型中已经学到的丰富世界知识，来改进世界模型的预测能力——将会是一个巨大的突破。但这并非易事。想象一下，这就像是要将一位擅长讲述完整故事的作家（视频扩散模型）转变为一位能够根据读者反馈即兴创作的即兴表演者（交互式世界模型）。

一、从视频扩散到交互世界：两大关键挑战

研究团队面临的第一个挑战是使模型能够进行"因果生成"。标准的视频扩散模型设计用于同时处理整个视频序列，它们会利用整个时间线上的信息来生成视频。这就像是一个故事家已经知道故事的开头、中间和结尾，然后一次性创作出完整的故事。但在交互式世界模型中，我们需要的是能够一步一步生成内容的能力，就像我们在现实生活中无法预知未来一样。

第二个挑战是实现"动作条件控制"。世界模型必须能够进行反事实推理——也就是预测不同动作如何影响未来状态。这需要在生成过程中注入帧级别的动作信号。想象一下，我们不仅要让AI预测"如果我推动这个盒子会发生什么"，还要让它能够根据推动的力度、方向和持续时间来调整其预测。

为了解决这些挑战，研究团队提出了Vid2World，一种能够有效地将预训练的视频扩散模型转变为交互式世界模型的通用方法。

二、Vid2World：连接视频生成与世界模拟的桥梁

Vid2World方法包含两个核心创新：视频扩散模型的因果化和因果动作引导。

首先，对于视频扩散模型的因果化，研究团队发现了更好的权重转移方案，将时间注意力层和卷积层调整为它们的因果对应项。

想象一下一个视频监控系统：普通系统可能会基于过去和未来的所有画面来增强当前画面的清晰度，但这在实时预测中是不可能的。Vid2World通过巧妙的技术改造，确保模型只使用过去的信息来预测未来，就像我们人类一样。

具体来说，研究团队将非因果时间注意力层转换为因果版本时，他们应用了因果掩码，确保每一帧只能关注它之前的帧。对于时间卷积层，他们提出了"混合权重转移"方法，最大限度地保留预训练权重，同时确保因果性。

传统的"移位权重转移"方法会简单地将卷积核向过去移动，但这会导致时间错位。想象一下，如果你原本用今天和昨天的天气来预测明天的天气，现在却变成用前天和大前天的天气来预测昨天的天气，这显然会造成混乱。

相反，Vid2World的混合权重转移保留了对应位置的权重，并将未见位置的权重初始化为沿时间维度的平均权重，确保模型在因果设置中仍能有效工作。

此外，为了支持因果生成，研究团队采用了"扩散强制"（Diffusion Forcing）训练目标，允许模型在不同帧上使用不同的噪声级别，这为自回归生成奠定了基础。

三、因果动作引导：赋予模型交互能力

仅仅实现因果生成还不足以创建交互式世界模型。真正的世界模型需要能够预测不同动作如何影响未来状态。

为此，研究团队开发了"因果动作引导"机制。他们通过轻量级嵌入层将动作信号注入模型，并设计了扩展训练目标，在序列中独立地丢弃动作。

这听起来可能有些抽象，让我们用一个简单的比喻来理解：想象你正在教一个人学习烹饪。你不仅要告诉他当前的食材状态，还要告诉他下一步应该采取什么动作（例如，翻炒、加盐或调低火力）。Vid2World正是通过这种方式，将动作信息"注入"到模型中，使其能够理解动作与结果之间的关系。

在训练过程中，研究团队会随机丢弃一些动作信息，迫使模型学习理解动作如何影响状态变化。这就像有时候你会故意不告诉学徒下一步该做什么，让他自己思考和预测。这种设计使模型能够在推理时使用"无分类器动作引导"，平衡模式覆盖和样本真实度。

这一机制使得模型不仅能预测环境的一般发展趋势，还能根据特定的动作调整其预测，这正是交互式世界模型的核心特性。

四、实验验证：从机器人操作到游戏模拟

为了验证Vid2World的有效性，研究团队选择了DynamiCrafter作为基础模型，这是一个在大量互联网级视频数据上预训练的最先进的U-Net潜在视频扩散模型，拥有11亿可训练参数。

他们在两个不同领域测试了这一方法：真实世界的机器人操作和高动态3D场景的游戏模拟。

首先，在RT-1机器人数据集上，Vid2World与几种基线方法进行了比较，包括动作条件微调、语言条件微调、ControlNet和分类器引导。结果表明，Vid2World在非自回归设置（Vid2World-NAR）下显著优于所有基线方法，在FVD（Fréchet视频距离）上达到18.5，而基线方法最好的也只达到24.2。在自回归设置下，Vid2World也保持了与这些方法相当或更优的性能。

更令人兴奋的是，Vid2World还能够支持"真实到模拟"（Real2Sim）策略评估。研究团队使用Vid2World作为世界模型来评估三种不同策略：RT-1（初始）、RT-1（15%）和RT-1（收敛）。结果显示，Vid2World能够可靠地反映不同策略之间的性能差距，与真实世界的成功趋势密切跟踪。

在游戏模拟领域，研究团队在《反恐精英：全球攻势》（CS:GO）游戏上测试了Vid2World，这是一个具有高度动态和视觉复杂性的3D环境。与最先进的自回归世界模型DIAMOND相比，Vid2World在所有评估指标上都取得了显著优势，包括在FVD上实现了81.8%的相对性能改进，在FID上实现了77.2%的性能提升。

五、进一步探索与局限性

研究团队还进行了消融研究，以验证Vid2World的两个关键组成部分的有效性：混合权重转移和动作引导。结果表明，这两种技术都在Vid2World的卓越性能中发挥了重要作用。

尽管取得了令人印象深刻的成果，但这项工作仍然存在一些局限性。由于计算资源的限制，研究团队仅使用了相对轻量级的视频扩散模型作为基础模型，未来探索更大规模的模型可能会带来更好的性能。此外，训练过程仍然相对耗时，未来可能需要开发能够以更少的训练步骤达到类似或更优性能的方法。

总的来说，Vid2World代表了从被动视频扩散模型到交互式世界模型的成功过渡，为未来的研究和应用开辟了新的可能性。它不仅在视频预测任务中取得了最先进的性能，还能有效支持下游决策任务，展示了将互联网级预训练模型转化为交互式世界模型的巨大潜力。

想象一下未来：机器人能够在实际操作前"在心中"模拟其动作的结果；自动驾驶车辆能够预测各种驾驶场景下的交通流动；游戏AI能够理解并预测玩家行为，创造更加真实和沉浸式的游戏体验。Vid2World向这些愿景迈出了重要一步，为人工智能在理解和模拟现实世界方面的能力开辟了新的可能性。