让AI记住房间每个角落：悉尼大学团队如何让视频生成拥有"空间记忆"

这项由悉尼大学的赵晶晶、微软研究院的魏方云、香港科技大学的刘振宁、滑铁卢大学的张弘阳等研究团队共同完成的研究，发表于2024年12月17日的arXiv预印本平台，论文编号为arXiv:2512.15716v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当下的AI视频生成技术已经能创造出令人惊叹的短片，但面对一个根本性挑战：就像患了严重健忘症的摄影师，无法记住刚才拍过的场景。当你要求它生成一个人在客厅里走动的长视频时，AI往往会在几分钟后"忘记"客厅原本的样子，导致沙发突然变色、墙壁莫名移动，整个空间变得支离破碎。

这种现象的根源在于视频数据的巨大体量。以一个5秒钟的普通视频为例，其包含的信息量相当于2.7万个英文单词。这就好比要求一个人在脑海中同时记住一本厚厚小说的所有细节，然后基于这些记忆继续创作故事的后续情节。对于AI来说，处理如此庞大的信息量几乎是不可能的任务。

研究团队提出了一个革命性的解决方案：Spatia系统。这个名字来源于"spatial memory"（空间记忆），其核心思想就像给AI配备了一个专门的"空间记忆银行"。系统会将静态的场景信息（比如房间的布局、家具的位置）单独保存在一个3D点云地图中，就像建筑师手中的立体房屋模型。与此同时，AI专门负责生成动态内容（比如人物的动作、物体的移动），两者分工合作，确保长时间视频生成过程中空间的一致性。

**一、空间记忆的奥秘：3D点云如何成为AI的"房间地图"**

Spatia系统的核心创新在于建立了一套"动静分离"的生成机制。可以把这个过程比作电影制作：静态场景就像是搭建好的电影布景，而动态内容则是在这个布景中表演的演员。传统的AI视频生成就像让一个导演同时负责搭建布景和指导表演，结果往往顾此失彼。而Spatia则让"布景师"和"导演"各司其职，确保既有稳定的拍摄环境，又有生动的表演内容。

具体来说，当用户提供一张初始图片时，系统首先会运用名为MapAnything的技术来估算这张图片背后的3D场景结构。这个过程就像专业摄影师看到一张照片就能推断出拍摄现场的空间布局一样。系统会识别出房间的深度信息、家具的位置关系、墙壁的走向等关键要素，并将这些信息编码成一个3D点云地图。

这个点云地图的妙处在于它的持久性和可更新性。传统AI生成视频时，每一帧都要重新理解整个场景，就像每次进入房间都要重新认路。而Spatia的点云地图则像是一张永久保存的房间平面图，AI可以随时查阅，确保对空间结构的理解始终保持一致。

当需要生成新的视频片段时，系统会根据指定的相机轨迹，在这个3D点云地图上模拟相机的移动路径，生成一系列2D投影图像。这些投影图像就像是从不同角度拍摄同一个房间的照片预览，为后续的视频生成提供空间参考。同时，系统还会从之前生成的视频帧中检索出与当前视角最相关的参考帧，进一步增强空间一致性。

**二、智能参考帧检索：如何找到"最合适的参照物"**

Spatia系统的另一个关键创新是智能参考帧检索机制。这个机制的工作原理类似于专业摄影师的工作习惯：在拍摄新镜头之前，总会回顾之前拍摄的相关照片，确保新镜头与整体风格保持一致。

系统通过计算3D空间中的重叠度来判断哪些之前生成的帧与当前要生成的视角最相关。这种计算方式比简单的图像相似度比较更加精准，因为它考虑的是真实的空间关系而非表面的视觉相似性。比如说，两张照片可能看起来完全不同，但如果它们拍摄的是同一个房间的不同角落，系统就能准确识别出它们之间的空间关联。

检索到的参考帧会被输入到视频生成模型中，作为额外的条件信号。这就像是给AI提供了"样板房"的参考，让它在生成新内容时能够保持与已有内容的风格和结构一致性。这种机制特别适用于需要多次回到同一场景的长视频生成任务。

**三、网络架构创新：ControlNet与主网络的协同工作**

Spatia的网络架构采用了一种巧妙的双轨并行设计。主网络负责处理视频内容的核心生成，而ControlNet则专门处理空间条件信息。这种设计就像是在汽车中同时配备了主驾驶员和副驾驶员，主驾驶员专注于驾驶技巧，副驾驶员则负责导航和路况提醒。

ControlNet接收来自3D点云的空间信息，包括目标视角的点云投影和前序帧的点云投影。这些信息经过处理后会通过简单的多层感知器（MLP）投影到主网络中，为主网络的生成过程提供精确的空间约束。这种设计确保了空间信息能够有效地指导视频生成，而不会干扰主网络对动态内容的处理能力。

主网络则继承了先进的视频生成模型Wan2.2的架构，具备强大的视频内容生成能力。通过交叉注意力机制，主网络能够同时接收来自文本指令、参考帧、前序视频片段以及空间条件的多模态信息，实现精细化的条件控制。

**四、迭代生成与空间记忆更新：如何实现无限长视频**

Spatia系统最令人印象深刻的特性是其迭代生成能力。每生成完一个视频片段后，系统会利用这些新生成的帧来更新其空间记忆，这个过程就像是不断完善和丰富地图信息。

更新过程采用了视觉SLAM（即时定位与地图构建）技术，这是一种在机器人导航中广泛使用的技术。当机器人在未知环境中移动时，SLAM技术能够同时估计机器人的位置并构建环境地图。在Spatia中，这种技术被巧妙地应用到视频生成领域，让AI能够在生成新内容的同时不断完善对场景的理解。

值得注意的是，为了保证空间记忆的纯净性，系统在更新点云时会自动排除动态元素。这就像是在更新房屋平面图时，只记录固定的墙壁、窗户等结构元素，而忽略临时摆放的物品。这种动静分离的策略确保了空间记忆的稳定性和可靠性。

**五、精确相机控制：3D感知的视角操控**

传统的视频生成模型在处理相机控制时往往采用间接的方式，将相机轨迹编码为抽象的特征向量。这种方法就像是用暗号来指挥摄影师拍摄，容易产生理解偏差和执行错误。

Spatia则采用了更加直观和精确的3D感知相机控制方法。用户可以直接在3D点云地图上指定相机的移动轨迹，系统会沿着这条轨迹渲染出一系列2D投影图像，这些图像直接作为条件信号指导视频生成。这种方法就像是给摄影师提供了精确的移动路线图，确保拍摄结果与预期完全一致。

这种3D感知的控制方式不仅提高了相机控制的精度，还为用户提供了直观的交互体验。用户可以像操作3D建模软件一样自由地调整视角和移动路径，实时预览生成效果。

**六、交互式3D编辑：场景修改的无限可能**

Spatia系统的另一个突破性功能是支持交互式3D编辑。由于系统维护着完整的3D场景表示，用户可以直接在3D空间中修改场景元素，这些修改会自动反映在生成的视频中。

这种编辑能力包括多个维度：首先是物体的添加和删除，用户可以在3D场景中加入新的家具或移除不需要的物品；其次是颜色和材质的修改，可以改变墙壁的颜色或家具的材质；最后是结构的调整，可以修改房间的布局或家具的位置。

这种编辑方式的优势在于其几何精确性。由于编辑操作直接作用于3D模型，生成的视频能够准确反映编辑后的空间状态，避免了传统2D编辑方法可能产生的空间不一致问题。这就像是在虚拟世界中重新装修房屋，所有的改动都会在不同视角下保持一致性。

**七、实验验证：在多个基准测试中的卓越表现**

研究团队在多个标准数据集上对Spatia进行了全面测试，结果显示其在空间一致性和视觉质量方面都达到了新的高度。在WorldScore基准测试中，Spatia的综合得分达到69.73分，显著超越了其他方法。这个分数的提升主要体现在空间相关的评估指标上，包括相机控制精度、3D一致性和内容对齐度。

特别值得关注的是闭环测试结果。在这种测试中，系统需要生成一个相机轨迹回到起始视角的视频，然后比较最终帧与起始帧的一致性。Spatia在这项测试中的表现远超其他方法，PSNR值达到19.38，SSIM达到0.579，充分证明了其空间记忆机制的有效性。

研究团队还进行了大量的消融实验来验证各个组件的重要性。实验表明，场景投影视频和参考帧检索机制都对最终性能有显著贡献，而3D点云密度的选择也会影响生成质量。这些实验为系统的优化和应用提供了重要的指导。

**八、技术局限与未来展望：仍待解决的挑战**

尽管Spatia在空间一致性方面取得了重大突破，但仍然存在一些技术局限。首先，系统对初始3D重建的质量高度依赖。如果初始图像的场景信息不够丰富，或者包含复杂的光照和反射，3D重建的准确性可能会受到影响，进而影响后续的视频生成质量。

其次，当前的动静分离机制虽然有效，但在处理动态物体与静态场景交互的复杂情况时仍有改进空间。比如说，当一个人坐在沙发上时，人物是动态的，但沙发的变形却是静态场景的一部分，这种边界的准确划分仍然具有挑战性。

此外，系统的计算复杂度相对较高，特别是在处理高分辨率视频和复杂场景时。虽然空间记忆机制提高了长视频生成的一致性，但也增加了额外的计算和存储开销。

研究团队指出，未来的改进方向包括：开发更加鲁棒的3D重建方法，能够处理更加复杂和多变的场景；优化动静分离算法，提高对复杂交互场景的处理能力；以及探索更加高效的空间记忆表示和更新机制，降低计算成本。

从技术发展的角度来看，Spatia代表了视频生成技术向着更加智能和实用方向发展的重要一步。随着相关技术的不断成熟，我们有望看到更加强大和易用的长视频生成工具，为内容创作、教育培训、娱乐体验等领域带来革命性的变化。

研究成果的意义不仅局限于技术层面，更在于为我们重新思考AI系统的记忆和认知机制提供了新的视角。Spatia的成功表明，通过合理的任务分解和专门化设计，AI系统可以在复杂任务中表现出更加接近人类的智能行为。这种思路对于其他需要长期记忆和一致性的AI应用领域同样具有重要的启发意义。

Q&A

Q1：Spatia系统如何确保生成的长视频在空间上保持一致性？

A：Spatia采用了独特的"动静分离"机制，将静态场景信息保存在3D点云地图中作为持久的空间记忆，同时让AI专门负责生成动态内容。这就像给AI配备了一个永久的房间平面图，确保在生成长视频时始终记得房间的原始布局和结构。

Q2：普通用户如何利用Spatia进行视频创作？

A：用户只需提供一张初始图片和文字描述，Spatia就会自动建立3D场景模型。之后用户可以像操作3D建模软件一样指定相机移动路径，甚至直接在3D场景中添加、删除或修改物体，系统会自动生成相应的视频内容。

Q3：Spatia与现有视频生成技术相比有什么优势？

A：最大优势是空间记忆能力，传统AI视频生成就像患了健忘症的摄影师，而Spatia则拥有完整的空间记忆。在基准测试中，Spatia的综合得分达到69.73分，在空间一致性相关指标上显著超越其他方法，特别是在需要回到原始视角的闭环测试中表现卓越。