深度图表示重新思考：如何让3D高斯分布渲染更清晰的物体边界

这项来自浙江大学、莫纳什大学和MBZUAI联合研究团队的最新研究《Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting》于2025年6月发表在arXiv预印本平台（arXiv:2506.05327v1）。该研究由施督超、王伟杰（共同第一作者）、陈东尼、张泽宇、边家旺、庄博涵和沈春华教授共同完成。有兴趣深入了解的读者可以通过项目主页https://aim-uofa.github.io/PMLoss获取更多信息。

想象一下，你正在使用一款先进的3D建模软件，可以从几张照片快速创建逼真的3D场景。但当你放大查看时，发现物体的边缘总是有些模糊不清，就像用模糊的剪刀剪出来的一样。这正是当前前馈式3D高斯分布渲染（Feed-Forward 3D Gaussian Splatting，简称3DGS）技术面临的核心问题。

3D高斯分布渲染是一种近年来备受关注的新型3D场景表示和渲染技术，它能够以极快的速度生成高质量的新视角图像。不过，传统的3DGS需要对每个新场景进行耗时的优化，限制了它在实际应用中的便捷性。因此，研究人员开发了前馈式3DGS方法，可以直接从输入图像快速预测3D场景，无需逐场景优化。

然而，这些前馈式方法往往使用深度图作为中间表示，而深度图在物体边界处常常存在不连续性，导致生成的3D点云破碎或稀疏，最终影响渲染质量。这就像是用低质量的拼图片试图拼出一幅完整画作，边缘总是对不齐。

针对这一问题，研究团队提出了一种名为PM-Loss的新型正则化损失函数，基于预训练Transformer模型预测的点图（pointmap）。虽然点图本身的准确度可能不如深度图，但它能有效强化几何平滑性，特别是在物体边界周围。这就像是给拼图添加了一个指导模板，帮助我们更准确地对齐边缘。

通过这种方法，研究团队显著改善了前馈式3DGS在各种架构和场景下的表现，始终提供更好的渲染结果。他们的成果不仅提高了视觉质量，还为未来前馈式3DGS的发展提供了新的思路。

一、深度图的不足：前馈式3DGS面临的挑战

想象你正在用透明塑料片画一座房子的轮廓，然后将这些轮廓叠加起来形成一个3D模型。这基本上就是深度图的工作方式——它记录了场景中每个点到相机的距离。虽然这种方法在平滑表面上效果不错，但在物体边界处却会出现问题。

深度图在物体边界处常常呈现出急剧的深度变化或不连续性。这就像是在画轮廓时，笔突然跳到了完全不同的高度。当我们将这些深度值转换为3D点时，这些不连续性会导致生成的3D点云出现断裂或稀疏区域，就像拼图缺了几块一样。

研究人员在论文中详细分析了这一问题。他们展示了当前主流的前馈式3DGS方法（如DepthSplat和MVSplat）如何使用深度图来生成3D高斯分布。这些方法首先预测场景的深度图，然后将其反投影为3D点云，最后在这些点上放置3D高斯分布。由于深度图的固有局限性，这些方法在物体边界处往往产生质量较差的结果。

例如，在论文图1中，我们可以清楚地看到DepthSplat生成的3D点云在物体边界处有大量漂浮的点和噪声，导致渲染的新视角图像在这些区域出现明显的失真和黑边。这就像是用模糊的相机拍摄出来的照片，边缘总是有些朦胧不清。

二、点图的优势：平滑几何的强大先验

如果说深度图就像只测量高度的地形图，那么点图（pointmap）则更像是一个完整的3D模型。点图直接在世界坐标系中编码三维点的XYZ坐标，而不仅仅是相机空间中的单一深度值。

近年来，以DUSt3R、Fast3R和VGGT为代表的点图回归方法在3D重建领域取得了显著进展。这些方法使用大型Transformer模型直接从图像预测密集的3D点云，简化了传统的多视角立体视觉过程。这就像是从多张照片中直接"看"出一个完整的3D物体，而不需要复杂的测量和计算。

这些点图模型的一个关键优势在于它们能够产生更加平滑、连续的几何表示，特别是在物体边界处。这是因为它们不受深度不连续性的影响，而是学习了更加全局化的几何先验知识。

然而，将点图作为前馈式3DGS的先验并不是一件容易的事。点图隐含地编码了粗略的相机姿态，而前馈式3DGS则需要明确提供准确的相机姿态，这导致直接整合两者变得困难。现有的一些方法如Splatt3R和NoPoSplat通过忽略相机姿态或需要缓慢的测试时间姿态对齐来解决这个问题，但这些方法限制了其在实际场景中的应用。

三、PM-Loss：巧妙利用点图先验的新方法

研究团队提出的PM-Loss创新性地将点图的几何先验知识转化为一个简单有效的训练损失，而不是作为一个复杂的网络组件。这就像是给一个绘画学徒提供一个参考草图，而不是直接接管他的画笔。

具体来说，PM-Loss引导从预测深度反投影得到的点云学习，以大规模3D重建模型（如Fast3R、VGGT）预测的全局点图作为伪真值。这种指导需要确保源点和目标点在同一空间中，并且有高效的测量方式。

对于前者，研究人员发现Umeyama算法可以高效地对齐两个点云，利用深度图和点图之间的一一对应关系。想象一下，这就像是将两张透明纸上的图案精确对齐，使它们完美重叠。实验表明，这种对齐方法比常用的ICP算法快近250倍（0.9毫秒 vs 238.3毫秒）。

对于后者，他们使用Chamfer距离直接在3D空间中对它们进行正则化，这比在2D空间应用的方法效果显著更好。Chamfer距离可以看作是测量两个点云之间"相似度"的一种方法，就像是测量两个拼图之间有多少部分可以完美对接。

PM-Loss的一个关键见解是重新计算3D空间中的最近邻居进行监督，而不是直接依赖一对一的像素对应关系（这会退化为深度损失）。这种设计使监督对姿态不对齐和预测噪声更加鲁棒。想象一下，这就像是允许拼图的各个部分稍微移动位置，只要整体形状相似即可，而不是要求每个像素都一一对应。

四、实验设计与结果：PM-Loss的强大效果

研究团队在多个大规模数据集上评估了他们的方法，包括DL3DV、RealEstate10K和DTU。他们将PM-Loss应用于两个代表性的前馈式3DGS模型：MVSplat和DepthSplat，并与原始模型进行了详细比较。

在视觉质量方面，添加PM-Loss后的模型在两个大规模数据集上都取得了显著提升，PSNR提高至少2dB。这相当于从标清视频升级到高清视频的体验提升。视觉对比结果清楚地表明，原始模型常常在场景边界处失败，形成黑色区域，而使用PM-Loss的模型则能更准确地恢复这些区域，显著提高渲染视图的视觉质量。

在点云质量方面，PM-Loss同样表现出色。在DL3DV数据集上，与原始DepthSplat相比，添加PM-Loss后生成的3D高斯分布更加清晰、边界更加清晰，大大减少了边界周围的漂浮伪影和噪声。在DTU数据集上，无论是2视图、4视图还是6视图输入，添加PM-Loss的模型在准确性、完整性和整体Chamfer距离上都取得了更好的结果。

研究团队还进行了广泛的消融研究，验证了各种设计选择的有效性。他们比较了不同的距离测量方法，证明了3D"最近邻"Chamfer损失优于2D"一对一"深度损失。他们还探索了不同点图来源的影响，发现虽然更高质量的点图（如VGGT）能提供更好的效果，但即使使用质量较低的点图（如Fast3R），PM-Loss仍然能显著优于基线方法。

关于效率，PM-Loss引入的额外计算成本主要来自点云对齐和Chamfer损失计算，总共仅需约65毫秒，即使对大量3D高斯分布（约458,752个）也是如此，使其能够高效地集成到大多数现有的前馈式3DGS模型中。

五、PM-Loss的更广泛意义和应用前景

PM-Loss不仅仅是一个技术改进，它代表了一种新的思路：如何巧妙地整合不同模型和表示的优势，而不是简单地替换或叠加它们。这就像是一名厨师不仅知道各种食材的特性，还知道如何将它们完美搭配，创造出超越单一食材的美味佳肴。

在实际应用中，PM-Loss可以为许多依赖3D场景重建的领域带来提升，例如：

虚拟现实和增强现实：更准确的物体边界意味着VR/AR体验中的物体会看起来更自然、更真实，减少了"飘浮感"和边缘伪影，提高沉浸感。

机器人视觉：更准确的3D场景理解可以帮助机器人更好地识别和交互物体，特别是在物体边界处，减少抓取或导航错误。

内容创作：为电影、游戏和虚拟产品展示提供更高质量、更高效的3D内容生成工具，减少手动修复边界问题的工作量。

值得注意的是，PM-Loss是一种即插即用的解决方案，它不需要修改现有模型的架构，只需要在训练过程中添加一个额外的损失项。这使得它非常易于集成到现有的前馈式3DGS管道中，为实际应用提供了便利。

研究团队在论文中也坦率地指出了方法的局限性：PM-Loss的效果受限于预训练点图模型的质量，点图中的错误可能会通过损失函数传播到前馈式3DGS模型中。未来，随着更强大的点图模型的发展，PM-Loss的效果可能会进一步提升。

六、结论与未来展望

这项研究通过引入PM-Loss，成功地解决了前馈式3DGS中由深度图引起的不连续性问题。通过利用点图作为几何先验，PM-Loss显著改善了3D高斯分布的质量，特别是在物体边界处，从而提高了新视角合成的视觉质量。

从更广泛的角度来看，这项工作展示了如何巧妙地融合不同模型和表示的优势，而不是简单地替换或堆叠它们。它提供了一种高效、有效的方法，可以将预训练大模型中的知识转移到下游任务中，这在当前AI领域是一个重要的研究方向。

未来的研究可能会探索更多种类的几何先验，或者开发更高效的对齐和损失计算方法。随着点图回归模型的不断改进，PM-Loss的效果也可能会进一步提升。此外，将这种方法扩展到更多的3D视觉任务，如物体检测、分割和跟踪，也是值得探索的方向。

总的来说，这项研究不仅为前馈式3DGS提供了一个有效的解决方案，也为如何利用预训练模型的知识提供了一个启发性的案例。随着3D视觉技术的不断发展，我们可以期待更多像PM-Loss这样的创新方法出现，进一步推动计算机视觉和图形学的边界。

如果你对这项研究感兴趣，可以访问项目主页https://aim-uofa.github.io/PMLoss获取更多信息，包括代码、预训练模型和更多实验结果。