清华大学研究团队研发的"VidSplat"：用AI视频生成技术，让几张照片重建出完整的三维世界

这项由清华大学软件学院与美国韦恩州立大学计算机系联合领导、并获得快手科技参与支持的研究，于2026年7月正式发表在计算机图形学顶级会议SIGGRAPH 2026（特别兴趣小组计算机图形与交互技术会议论文集）上，会议地点为美国洛杉矶。论文的ACM编号为979-8-4007-2554-8/2026/07，DOI为10.1145/3799902.3811138，有兴趣深入了解的读者可通过该编号查询完整论文。

**从几张照片到完整三维世界——一个古老难题的全新突破口**

手机拍照时，你随手记录的只是一个二维的平面画面。但现实世界是立体的，人眼能感知深度、转动视角看到物体背面，这是因为我们的大脑在两只眼睛的细微差异中"推算"出了空间结构。计算机要做同样的事，就需要从多张照片中重建出一个可以旋转、可以探索的三维模型——这就是所谓的"三维重建"。

现实生活中这项技术的用途无处不在：游戏公司要把真实建筑变成游戏场景，影视公司要给演员做三维替身，考古学家要数字化保存文物，甚至未来的机器人导航、虚拟现实眼镜，都离不开精准的三维重建。

问题在于，传统方法需要大量照片——几十张甚至几百张——才能把一个场景重建得有模有样。而当手头只有寥寥几张照片时，重建结果往往惨不忍睹：满是空洞、漏洞百出，像一栋烂尾楼一样残缺不全。这就是困扰三维重建领域多年的"稀疏视角"问题。

清华大学和韦恩州立大学的研究团队提出了一个颇具创意的思路来破解这个难题。他们开发出了名为**VidSplat**的系统，核心想法可以用一句话概括：既然照片太少，为什么不让AI帮我们"脑补"出缺失的视角？而这个"脑补"的工具，正是当下最火热的人工智能视频生成技术。

**一、重建三维世界，究竟难在哪里？**

要理解VidSplat解决的问题，先得明白三维重建在稀疏视角下为何如此棘手。

现代三维重建的主流方法有两种。一种叫"神经辐射场"（NeRF），可以理解为一个学会了"从任意角度看这个场景会是什么样子"的神经网络，它把整个场景压缩进一组数学函数里。另一种叫"三维高斯泼溅"（3D Gaussian Splatting，简称3DGS），更直观一些，是把空间中的每一个点都用一个椭球状的小"气泡"来表示，然后把无数气泡叠加在一起拼出完整场景。这两种方法的共同前提是：需要大量从不同角度拍摄的照片，让系统通过多张图片之间的细微差异来推算深度和几何结构。

当照片数量骤减到只有三五张甚至一张时，麻烦就来了。以一间餐厅为例，假设你只有从正门口拍的五张照片，那么椅子背面长什么样、天花板角落有什么装饰、收银台后面是否有通道——这些信息对于三维重建系统来说完全是空白。系统只能在这些空白区域瞎猜，结果要么留下难看的空洞，要么填入错误的几何形状。

更棘手的是，即便是看得见的区域，照片太少时不同视角之间的"一致性"也很弱——就像拼一幅只给了五块碎片的千片拼图，根本拼不出可信的完整画面。

近年来也有人试图改进这一状况。有些研究团队让系统在海量数据集上预训练，学会"猜测"看不见的区域；有些团队则引入单张图片的深度估计、法线估计等辅助信息，给重建过程加一些几何约束。然而这些方法都有根本性的局限——它们只能恢复"已有照片能看见的区域"，对于照片完全没有覆盖的方向，它们无能为力。这就是VidSplat试图跨越的关键壁垒。

**二、灵感来自视频生成：AI也能"脑补"缺失的视角**

VidSplat的核心灵感来自一个看似不相关的领域——AI视频生成。

近两年，视频生成AI取得了令人瞩目的进展。这些模型在海量视频数据上训练，学会了现实世界中事物运动和空间关系的规律：相机向左移动时，右边的内容会从画面右侧"流入"；靠近一个物体时，它会在画面中变大；转过墙角时，新的空间会符合物理规律地出现。换言之，这些视频生成模型的"脑子"里，隐含着大量关于三维空间的知识。

VidSplat的研究团队敏锐地意识到：如果给这样的视频生成AI一张参考照片和一条虚拟的相机运动路径，它就能生成一段"假设相机沿着这条路径移动，会看到什么"的视频。这段视频虽然是AI生成的，但由于模型对三维空间有深刻理解，生成的内容往往相当合理——它能补充出那些从原始照片根本无法看到的视角。

于是，整个VidSplat的逻辑框架就形成了：用已有的少量照片重建出一个粗糙的初始三维模型，然后用视频生成AI"脑补"出新的视角，把这些新视角加进去进一步完善三维模型，再生成更多新视角……如此反复迭代，就像一个不断自我完善的学习循环，最终得到完整、精细的三维场景。

这个思路用一个日常比喻来理解很直观：假设你是一位室内设计师，手里只有一个房间的五张照片。你先用这五张照片粗略勾勒出房间格局，然后依据这个格局，请一位精通空间透视的画师"推测并画出"从其他角度看这个房间会是什么样子。有了这些推测图之后，你再细化原来的格局模型，如此循环，最终完整还原这个房间的样子——即使你实际上从未真正站在那些额外角度上拍过照。

**三、生成新视角的最大难关：如何让AI不"乱画"**

VidSplat最关键的技术挑战，是如何控制视频生成AI生成出"与真实几何结构一致"的新视角，而不是让AI天马行空地瞎创作。

这个问题比表面看起来严重得多。现有的视频生成AI，即使你给它一张参考图，它在生成后续画面时也会有很强的"自由发挥"倾向——椅子可能突然换了颜色，墙上的画可能换了内容，甚至整体空间布局都可能产生微妙的漂移。这对于创意视频生成来说是个优点（多样性），但对于三维重建来说是致命缺陷——重建需要的是对真实几何的绝对忠诚，任何内容漂移都会导致重建模型"精神分裂"。

研究团队为此设计了一套他们称为"几何引导的逐阶段去噪策略"的方法，来驯服视频生成AI的"创作自由度"。理解这套方法，需要先简单了解AI视频生成的工作原理。

AI生成视频的过程，本质上是一个"从乱码还原清晰画面"的逆向过程。系统从一团随机噪声开始，经过反复的"去噪"步骤，逐渐把噪声变成有意义的视频帧。在这个过程的早期，系统在确定画面的大体布局和结构；在中期，在完善细节；在后期，在精修质感和纹理。

VidSplat的关键洞察在于：在去噪过程的不同阶段，应该施加不同程度的几何约束。具体来说，团队预先用已有的三维模型，将新视角的相机位置对应的渲染图（即"如果我们的模型已知的部分，从这个角度看会是什么样"）准备好，这些渲染图里已知的区域用一个"遮罩"标注出来。

在去噪过程的早期阶段，系统被严格要求：已知区域的生成内容必须与三维模型渲染的参考图保持高度一致，不许乱画。这就像给画师一个严格命令："这些区域的颜色、结构都给我照搬，不许创发挥。"这样可以确保生成内容的空间布局与真实几何不发生偏离。

到了中期阶段，这个约束被逐渐放松——从完全一致，慢慢过渡到部分参考。就像告诉画师："大结构要对，但细节可以稍微润色。"

到了最后的精修阶段，约束被完全解除，让AI自由发挥，补充真实感的纹理细节、修复模型渲染中不完美的地方，并自由填充那些模型完全没有信息的未知区域。

这套三阶段策略的效果非常显著：实验证明，与直接使用视频生成AI不加控制地生成相比，VidSplat的策略生成的内容在几何一致性指标（PSNR、SSIM、LPIPS）和视频自然度指标（FID、FVD）上都大幅领先，同时优于ViewCrafter、TrajectoryCrafter等专门为相机控制设计的视频生成方法。

**四、往哪个方向"脑补"？——聪明的相机路径规划**

要让视频生成AI帮我们补充缺失视角，首先得告诉它：相机应该朝哪个方向移动。这个看似简单的问题，实际上大有讲究。

一个直觉上的想法是：沿着已有照片的位置做插值，在相邻照片之间"补充"中间视角。但这种思路有根本性的缺陷——它只能补充原有照片之间的区域，无法探索那些没有任何照片覆盖的全新方向。VidSplat需要真正意义上的"向未知领域探索"。

研究团队设计了一套"基于可见性的相机路径采样策略"。对于每一张已有的照片，系统先沿着照片的拍摄方向，找到相机视线与场景表面的交点——也就是相机"正在看"的那个地方。然后，以这个交点为中心，在一个球面上规划出多条候选的相机运动轨迹，就像在设计一部关于某个地点的全景航拍方案。

然而并不是所有候选轨迹都合适。系统会对每条轨迹上的关键帧进行评估，过滤掉两类不良轨迹：第一类是"飞出场景边界"的轨迹——相机移动得太极端，视野被墙壁或地面遮挡，就像贴着墙壁移动的人啥也看不到；第二类是"看太多未知区域"的轨迹——如果一条轨迹上超过一定比例的区域都是完全未知的，视频生成AI就会没有任何参考，胡乱创作的风险大幅上升。只有"未知区域占比适中，且能自由移动不被遮挡"的轨迹才会被保留下来。

此外，研究团队发现视频生成AI在生成较长序列时，越到后面越容易出现"误差积累"导致的幻觉。对此，他们采取了一个务实的做法：每次生成时刻意多走25%的路程，然后把末尾的这25%内容丢弃不用，只保留前面质量稳定的部分。从保留的序列中，再精选出视觉清晰、角度变化够大的关键帧，作为最终补充进重建系统的新视角素材。

**五、整个系统如何像流水线一样协同运转**

VidSplat的完整工作流程分为两个大阶段，两个阶段共同构成了一个持续自我进化的重建系统。

第一阶段是"初始化"。给定几张稀疏的输入照片，系统首先用一个叫做DUSt3R的工具（可以理解为能从任意两张照片推算深度关系的神经网络）构建出一个初步的三维点云——类似一个由无数空间中的点组成的粗糙骨架。然后，系统规划相机路径，用"几何引导的视频生成"补充出新的视角，把这些新视角加进来之后，重新运行DUSt3R，得到一个密度更高、覆盖更广的点云，用于初始化"2D高斯"（一种特殊的三维表示方式，后面会解释）的初始状态。

第二阶段是"迭代训练"。以初始化得到的高斯模型为起点，反复执行以下循环：用当前的高斯模型渲染出参考图和遮罩，规划新的探索路径，生成新的视角，把新视角纳入训练，用所有已有视角（包括原始照片和AI生成的新视角）更新高斯模型参数，然后进入下一轮。在清华大学的实现版本中，这个训练总共运行15000步，从第7000步开始每隔4000步执行一次"路径规划+视频生成+更新"的循环，共执行两轮。

值得一提的是，在这套系统中使用的不是标准的3D高斯，而是一种叫做"2D高斯"的改进版本。普通3D高斯用的是椭球形气泡，而2D高斯把这些气泡压扁成圆盘状。圆盘状的气泡更倾向于贴合物体的表面，而不是悬浮在空间中的任意位置，因此重建出的几何表面更平滑、更精准。这对于最终提取高质量的网格模型至关重要。

在损失函数（即指导系统训练方向的评判标准）方面，系统区分对待原始照片和AI生成的新视角。对于原始照片，系统使用精确的像素级颜色误差来进行监督，同时加入法线平滑约束（让表面不要太凹凸不平）和几何正则项。对于AI生成的新视角，系统改用一种对高频细节误差不那么敏感的"拉普拉斯损失"，因为AI生成的图像在细节上本来就不如真实照片精确，如果用太严格的标准来要求它，反而会引入噪声。此外，每个生成视角的像素还附有一个"置信度权重"——这个权重来自于点云重建过程中对各点可靠性的估计，越可靠的区域对应的训练权重越高。

训练完成后，系统用"行进四面体"算法从训练好的高斯模型中提取最终的三角网格表面，就像从一块立体的"泥塑"中雕刻出精确的轮廓。

**六、实验验证：在真实场景中表现如何**

研究团队在多个公认的基准数据集上对VidSplat进行了全面评测，涵盖了室内和室外场景，测试了系统在不同输入数量下的重建质量。

第一个测试场景是"坦克与庙宇"（Tanks and Temples）数据集，这是一个包含6个大型室外场景（如坦克、军事卡车、历史建筑等）的标准基准，每个场景只提供5张输入照片。这是一个相当极端的稀疏条件，测试的是系统在照片极少时的重建能力。

在这个数据集上，VidSplat在两个关键指标上大幅领先所有对比方法。在"倒角距离"（衡量重建网格与真实形状之间的平均距离，越小越好）上，VidSplat得到了0.66的成绩，而最接近的竞争对手MAtCha得到的是0.84，DIFIX3D+是0.82；在"F-分数"（综合考虑重建的精度和完整度，越高越好）上，VidSplat得到了12.80，而MAtCha只有6.47，其他方法更是只有2-3分左右。从可视化结果来看，其他方法重建的坦克、卡车往往残缺不全，而VidSplat能重建出相当完整的轮廓和细节。

第二个测试场景是"Replica"数据集，包含8个高质量的室内场景（客厅、卧室等），每个场景提供10张照片。在这个数据集上，VidSplat同样领跑，倒角距离达到0.06（次优方法GuidedVD为0.12），法线一致性达到88.42（次优方法MAtCha为83.18），F-分数达到80.79（次优方法MAtCha为71.77）。视觉效果上，VidSplat能重建出完整的桌腿、椅背，以及那些从输入照片根本看不到的墙角区域。

第三个测试场景是"DL3DV"数据集，包含4个室内场景和4个室外场景，每个场景提供6张照片，测试的是"新视角合成"能力——即：给出输入照片，系统能否从未曾拍摄过的视角渲染出高质量的图像？在这项测试中，室内场景上VidSplat的PSNR（图像质量指标，越高越好）达到了19.78分贝，而次优方法GuidedVD是17.87；室外场景上VidSplat的PSNR为17.49，次优方法GuidedVD为17.02。SSIM（结构相似度）和LPIPS（感知图像质量）指标上，VidSplat同样全面领先。

在与其他视频生成方法的对比评测中，VidSplat生成的视频在PSNR上达到了25.80，远超ViewCrafter的23.85、TrajectoryCrafter的21.42、CamTrol的14.53以及DIFIX3D+的20.14。

**七、单张照片也能用——从一张图重建完整场景**

VidSplat的能力并不局限于5-10张照片的场景。研究团队还展示了一个颇为惊人的应用：从**单张**照片出发，重建出完整的三维场景。

在单张照片的情况下，系统的初始化方式有所调整：先用一个单目深度估计模型（可以从单张照片推算出每个像素的深度）把图片转化为一个初始的三维点云，然后启动训练循环，以不断扩张的轨迹逐步向外探索未知区域，同时扩充训练视角集合，直到大部分场景都被覆盖为止。

从论文展示的结果来看，这个应用在两类场景下都展示出了令人印象深刻的效果：一类是对物体的"全景式"重建，例如从一张猫头鹰雕像的正面照片重建出包括背面和底部在内的完整三维模型；另一类是对室内空间的"向外探索式"补全，例如从一张厨房照片出发，逐步生成和重建出照片视角之外的更大空间范围。

**八、每个设计选择都有必要吗？消融实验的答案**

为了验证VidSplat每个组成部分的贡献，研究团队进行了系统性的"消融实验"——逐一去掉某个模块，观察整体性能的变化，就像逐一拆掉桥梁的某根柱子，看桥还能不能立住。

首先是验证两个"补全模块"的价值：一是在初始化阶段用视频生成补全点云（初始化补全），二是在训练阶段迭代地用视频生成扩充训练视角（训练补全）。结果显示，去掉两者时，重建结果满是孔洞；只保留初始化补全时，有所改善但仍有明显空洞；只保留训练补全时也类似——因为没有足够好的初始点云，训练很难收敛；只有两者都保留时，结果才真正完整可信。在Replica数据集上，两者都有时F-分数为80.797，去掉其中任一个都会明显下降。

其次是验证三阶段去噪策略的价值。完全不加控制时（w/o Guiding），生成视频看起来不错但内容与真实场景有明显偏移，无法用于重建；整个去噪过程都严格按照渲染参考图进行（Only Stage1），生成内容虽然几何一致，但无法修复渲染瑕疵也无法填充未知区域；去掉遮罩只用整张渲染图作为参考（w/o Mask），效果也有明显退化；只有完整的三阶段策略才能同时实现几何一致性和内容自然度。

研究团队还测试了用不同的视频生成基础模型（即"引擎"）运行VidSplat的效果：除了默认的Wan2.1之外，还测试了早期的Stable Video Diffusion（SVD）和HunyuanVideo 1.0。结果显示，即使换用较老的SVD，VidSplat也仍然优于所有现有方法，说明这套方法论具有很强的通用性，不依赖于某个特定的视频生成模型。

此外，研究团队还测试了一个额外的工程优化：用一种叫做BracketDiffusion的方法对输入照片进行"曝光一致化"预处理，因为现实中拍摄的照片往往曝光不一致（有的亮有的暗），这会干扰重建优化过程。实验表明，加入这一预处理后，图像质量指标有所提升，且渲染出的图像在光照上更为和谐统一。

**说到底，VidSplat做了什么**

归根结底，VidSplat代表的是一种思维方式的转变：与其仅仅靠手头已有的信息苦苦挣扎，不如主动调用AI的"想象力"来填补缺口，然后再用填补后的内容去改进基础，形成一个良性的循环。

这套方法对普通人意味着什么？可以设想这样的场景：你用手机随手拍了几张家里的照片，VidSplat式的技术就能帮你重建出整个家的三维模型，不仅能用于虚拟家居设计，还能在你需要修缮时提供精确的空间测量。再或者，博物馆工作人员只需拍摄几个方向的照片，就能数字化一件珍贵文物的完整三维形态，永久保存于数字档案。

当然，这项研究也有其局限和尚未解决的问题。视频生成AI偶尔还是会产生"幻觉"——生成与真实场景不符的内容，研究团队虽然通过多种策略加以控制，但并未完全消除。此外，整个系统的计算成本相当可观——需要运行视频生成模型、反复迭代训练高斯模型，目前在普通硬件上并不轻量。随着视频生成技术的快速进步和硬件算力的持续提升，这些局限有望在未来得到进一步克服。

这项工作还引发了一个颇为有趣的深层问题：当AI能从极少的信息中"脑补"出一个世界时，它究竟是在"重建"，还是在"创造"？二者之间的边界，在稀疏输入下变得越来越模糊。这或许正是三维视觉研究在未来最值得持续关注的前沿之一。有兴趣深入探究技术细节的读者，可以通过DOI 10.1145/3799902.3811138查阅原始论文全文，项目主页位于tangjm24.github.io/VidSplat，提供了更多可视化结果。

Q&A

Q1：VidSplat需要多少张照片才能重建出完整的三维场景？

A：VidSplat支持从非常少的输入照片出发完成三维重建，论文中的测试场景最少只用了5张照片，部分实验用了6张或10张。该方法甚至支持从单张照片重建完整三维场景，此时系统会先用单目深度估计初始化点云，再通过迭代视频生成逐步探索和补全未知区域。

Q2：VidSplat用视频生成AI"脑补"出来的新视角，准确吗？会不会有错误内容混进三维模型里？

A：这正是VidSplat重点解决的挑战。为了防止AI"乱画"，研究团队设计了三阶段的几何引导去噪策略：早期阶段严格约束AI参照已知几何，中期逐步放松，后期才允许自由发挥。此外，生成视角在被纳入训练时还附有置信度权重，可靠性低的区域对训练的影响更小，从而降低错误内容的影响。

Q3：VidSplat与其他稀疏视角重建方法相比，最核心的区别是什么？

A：大多数现有稀疏视角重建方法只能恢复输入照片已经覆盖的可见区域，对于照片完全没有拍到的方向无能为力，导致重建结果残缺不全。VidSplat的核心区别在于：它主动探索未覆盖的方向，用视频生成AI合成新视角来补充缺失信息，并通过迭代循环不断扩大场景覆盖范围，因此能重建出真正完整的三维场景。