谷歌等机构联合研发：不靠"压缩中转"，从单张图片直接重建3D空间的新方法

这项研究由谷歌、苏黎世联邦理工学院、图宾根大学、微软、慕尼黑工业大学等机构的研究人员联合完成，发表于2026年第43届国际机器学习大会（ICML），会议地点为韩国首尔，论文收录于PMLR第306卷。感兴趣的读者可通过论文编号arXiv:2607.02515查阅完整原文。

你有没有想过，当你用手机拍下一张客厅的照片，AI能不能仅凭这张平面图片，就"脑补"出整个房间的三维空间结构——每个家具距离镜头多远、它们在空间里的精确位置是什么？这不是科幻，而是计算机视觉领域正在攻克的核心难题之一，专业上叫做"单目几何估计"。

这项研究构建了一个名为PointDiT的系统，它的目标正是从单张RGB图片出发，预测出画面中每个像素点对应的三维空间坐标，生成所谓的"点云地图"。与深度图（只记录每个像素距离镜头多远的灰度图）不同，点云地图直接给出每个像素的X、Y、Z三维坐标，无需知道相机参数就能立即还原出完整的三维场景。这对机器人导航、自动驾驶、AR/VR、三维重建等应用都有直接价值。

研究团队在这项工作中的核心主张是：以往那些复杂的混合架构和繁琐的损失函数设计，其实都是不必要的包袱。他们用一个极度精简的框架——一个基于纯粹视觉Transformer（一种处理图像的神经网络骨架）的像素空间扩散模型——就打败了各种复杂对手，同时在几何边界的清晰度上取得了显著突破。

一、单张照片变3D，为什么这么难

从一张平面照片还原三维空间，本质上是一个信息不足的问题。就像你看着一张画，无法百分之百确定画中人站在桌子后面还是桌子旁边。这种"歧义性"在数学上被称为"投影的尺度和深度不确定性"——同一张二维图片，从理论上对应无穷多种可能的三维场景。

现有的解决思路大致分两条路。第一条路是让模型直接做回归：给定一张图片，输出一个确定的几何结构。代表方法有MoGe、Depth Anything等。这类方法的问题在于，面对歧义性时，模型往往选择"折中"——预测所有可能结果的平均值。结果就像一个厨师，面对"辣还是不辣"无法确定时，干脆做了一道"中等辣"，既没有照顾到喜欢辣的人，也没有满足不吃辣的人。反映在几何上，就是边缘模糊、细节丢失，椅子腿、玻璃杯这类细小结构往往一片糊涂。

第二条路是借助"扩散模型"（一种通过逐步去噪来生成内容的AI方法）来捕捉这种不确定性。扩散模型的代表成就是Stable Diffusion这类图像生成工具，它通过学习"从噪声逐渐还原出真实图像"的过程，天然具备对多种可能性的建模能力。将其用于几何估计的方法，如GeometryCrafter，在理论上更能处理歧义性。然而这条路也有一个"中转站"的问题：为了利用已经预训练好的图像扩散模型，这类方法需要先把三维点云压缩进一个"潜在空间"（latent space），用一个叫VAE（变分自编码器）的装置来完成这个压缩。

问题就出在这个压缩过程上。VAE的工作原理类似于把一幅精细画作扫描后转成低分辨率缩略图，再从缩略图重建回去。三维几何数据的数值范围没有边界（室内近处可能是0.5米，室外远处可能是数百米），而且几何训练数据本就比图像数据稀少，这使得VAE的压缩质量十分有限。研究团队展示了一个直观的对比：仅靠VAE重建（还没有进行扩散）的点云，就已经存在明显的噪声，几何细节残缺不全。更根本的矛盾在于，VAE的训练目标是"重建得尽量准确"，而扩散模型的训练目标是"生成得尽量真实"，这两个目标天然冲突，强行绑在一起必然相互拖累。

PointDiT的答案是：绕开这个"中转站"，直接在原始三维点云空间里训练扩散模型，一步到位。

二、设计思路：把三维点云当成一张三通道图片来处理

PointDiT的核心架构设计出奇地简洁，简洁到让人有点意外。三维点云地图的数据格式是H×W×3，也就是说每个像素对应三个数值（X坐标、Y坐标、Z坐标），这和普通RGB彩色图片的格式完全一样——只不过普通图片存的是红绿蓝三个颜色通道，而这里存的是三维空间坐标。

研究团队就利用了这个相似性，直接把点云地图当成一张特殊的"三通道图片"来处理。他们使用的骨干网络是ViT（视觉Transformer），这是一种将图片切成小方块（patch）再逐块处理的网络结构。具体来说，系统会把这张"点云图"切成16×16像素的小格子，每个格子展平成一个向量，然后送入Transformer进行处理。与此同时，输入的RGB彩色图片经过一个预训练好的视觉特征提取器DINOv3（一种强大的自监督视觉表征模型，可以理解为一个"看图百事通"）提取出丰富的图像特征，这些特征与点云格子一一对应地拼接在一起，作为几何预测的参考线索。整个网络从头训练，不依赖任何预训练的扩散模型权重，也不需要VAE。

在DINOv3特征的使用上，研究团队并没有只取最后一层的输出，而是均匀地从网络的不同深度取出四个中间层的特征，然后沿通道维度直接拼接。这个处理方式背后的逻辑是：浅层特征捕捉的是纹理、边缘这类低级信息，深层特征捕捉的是语义、物体这类高级信息，把四个层次的信息都放进来，模型既能看清"哪里是边界"，也能理解"这是什么东西"。

三、扩散训练的关键细节：三个让系统真正跑起来的设计

像素空间扩散模型（直接在原始像素或坐标空间里训练的扩散模型）并非全新概念，但把它用在三维几何数据上面临几个实际挑战，研究团队为此设计了三项关键机制。

第一项是点云归一化。三维坐标的数值范围差异极大：室内场景的点可能集中在0到5米，室外场景可能延伸到几百米。而扩散训练依赖于"数据和噪声处于相似数量级"这一前提——如果数据的数值远大于噪声，噪声就无法有效破坏数据结构，整个扩散过程就会失效，就像你往一桶墨水里滴了一滴清水，完全看不出效果。解决方案是对每张点云图做归一化处理：计算点云的重心位置，再用点云中各点到重心的平均距离作为缩放系数，把点云缩放到与标准正态噪声相当的尺度。经过这番处理，模型预测出来的结果是"仿射不变"的，也就是说预测值对真实场景的尺度和位置偏移不敏感，需要在后处理时通过最小二乘对齐来恢复绝对尺度。

第二项是天空区域的特殊处理。在户外场景中，天空的"深度"是无穷远，这个无穷远的值没法直接放进点云里训练。研究团队的处理方式是：计算归一化统计量时排除天空像素，然后将天空像素的坐标投影到一个固定半径为3的虚拟球面上（这个半径对应标准正态分布的3倍标准差，是噪声分布的"边界"位置）。由于这个球面只是一个代理，并非真实深度，训练时对天空像素的损失权重被调低到0.01（而普通像素的权重是1），既保留了一点监督信号防止天空区域的几何预测变得随机，又不让这个不准确的伪深度值主导优化过程。推理时，预测坐标的模长超过2.9的点被直接丢弃，认定为天空。

第三项是预测目标的选择，也是整个方法中最关键、最反直觉的一个设计决策。在扩散模型的技术体系里，模型可以选择预测"速度"（即从数据到噪声的变化方向，称为v-prediction），也可以直接预测"干净的数据本身"（称为x-prediction）。主流的流匹配方法（如Stable Diffusion 3等）普遍采用v-prediction。但研究团队的实验发现，对于三维点云数据，v-prediction会导致灾难性失败——在消融实验中，v-prediction的相对误差高达35.44，而x-prediction的相对误差只有9.29。研究团队引用了同期图像生成领域的研究JiT的发现，并把这个结论推广到了三维几何领域：直接预测干净数据，比预测速度更稳定、更有效。

在训练损失的设计上，模型虽然预测的是干净点云，但实际优化的是"速度空间"的均方误差（把预测点云转换成等效速度再计算误差），这在实验中比直接在点云空间计算误差效果略好。此外还叠加了一个辅助损失：对每个像素的预测误差除以该像素真实坐标的模长，相当于对远处的大误差"打折扣"、对近处的细节"加倍关注"，两项损失以0.1的权重系数相加。

还有一个小细节：训练时采用对数正态分布来采样时间步长，但由于对数正态的sigmoid映射永远无法精确采样到0，模型几乎从不会见到"纯噪声"的输入。而推理时恰恰是从纯噪声开始，这造成了训练和推理的不一致。解决方案很简单：以10%的概率强制把时间步设为0，让模型有机会接触纯噪声，消除这个训练-推理的分布偏差。

四、推理时的两种用法：一步到位，或多步精炼

按照流匹配的标准推理流程，系统从纯高斯噪声出发，用欧拉求解器沿学习到的速度场一步步积分，从t=0走到t=1，最终得到干净的点云预测。步数越多，轨迹越精细，理论上结果越好。

但研究团队发现了一个有趣现象：哪怕只走一步，PointDiT的表现就已经超过了所有此前的方法。他们对此的解释是：点云地图与条件图像之间存在天然的像素级对应关系——每个输出位置的几何值主要由同一位置的图像特征决定，这使得从噪声到目标几何的"运输轨迹"几乎是一条直线，一步就能走得很准，后续步骤主要是在细节上做修正。

更令人惊讶的是，如果把初始噪声换成全零向量（完全确定性的输入），模型依然能给出高质量预测，而且效果与随机噪声初始化相当甚至略好。这说明模型已经学会了从DINOv3图像特征直接映射到几何点云，对初始噪声的依赖极低，某种程度上退化成了一个确定性估计器。

在计算效率上，PointDiT-H（最大版本，18亿参数）单步推理只需72毫秒，而GeometryCrafter（基于潜在扩散的对比方法）单步推理需要1178毫秒，差距超过16倍。

五、训练数据与实验设置：全程合成数据，零样本迁移到真实世界

PointDiT的训练完全依赖合成数据，不使用任何真实世界的带标注样本。这个选择背后有两层逻辑：合成环境能提供"像素级精确"的点云真值，这对学习高质量几何分布至关重要；同时，由于模型建模的是几何坐标而非图像纹理，合成图像与真实图像之间的外观差距对模型影响较小，而DINOv3提供的域不变特征进一步弥合了这个差距。

训练分两个阶段。第一阶段在256×256分辨率上预训练，使用SceneNet-RGBD这一单一室内合成数据集，共约536万样本，训练30个epoch（包含5个epoch的warmup），使用16张H100 GPU，耗时约12到22小时不等（依模型大小而定）。第二阶段在512×512分辨率上精调，使用11个合成数据集的混合，总计约622万样本，涵盖室内、室外驾驶、游戏场景、花园、工业室内等多种场景。这11个数据集通过加权采样混合，以解耦数据集规模与采样概率的关系——例如TartanGround数据集贡献了67%的原始样本，但采样权重只有15%，而Synscapes只有2.5万样本却被上采样到9%的采样概率。精调阶段模型使用从64到128张H100 GPU，耗时约2.5到7小时。

评估在七个真实世界数据集上进行，这些数据集与训练数据完全无重叠，涵盖室内、户外驾驶、多模态等多种场景，共3444个样本。评估指标包括点云的相对误差（Relp）和准确率（δ1p）、深度图的相对误差（Reld）和准确率（δ1d），以及边界清晰度指标BF1（衡量几何边缘的锐利程度）。

六、实验结果：更清晰的边界，更强的透明物体处理能力

在512×512分辨率的主要对比实验中，PointDiT的表现可以从几个维度来看。

在深度精度方面，最大的PointDiT-H（18亿参数，4步推理）以2.75的Reld和98.54%的δ1d取得所有方法中最好的成绩，超过了MoGe-2（2.90，98.45%）、UniDepthV2（2.86，98.52%）等专门优化过深度精度的回归方法，也大幅超过了GeometryCrafter（3.52，97.84%）这一潜在扩散对比方法。

在边界清晰度方面，PointDiT的优势更加突出。边界清晰度指标BF1从所有基线方法的最高值9.41（Depth Pro）提升到10.50（PointDiT-L，4步），提升幅度约12%。这背后的原因是VAE的压缩-解压缩过程天然会模糊几何边缘，而PointDiT完全绕开了这个环节。

在透明物体处理方面，实验结果显示了尤为显著的优势。玻璃杯、透明板材这类物体对确定性回归模型来说是噩梦，因为它们的外观线索极度模糊，深度回归往往完全失效，产生随机或错误的几何预测。而PointDiT的概率性扩散框架能够在不确定的情况下探索多种可能的几何形态，最终收敛到更合理的预测。

在细薄结构方面，椅子腿、柱廊的细柱、植物茎干等细节，在确定性回归方法中经常被"平均"掉变成模糊的色块，而PointDiT能清晰地恢复出这些结构。

值得关注的是，PointDiT在室外场景（KITTI、DIODE、ETH3D）上的表现弱于MoGe和UniDepthV2这样的强基线，研究团队将其归因于训练数据中室外场景的比例和多样性不足，并指出增加室外训练数据是未来改进的一个直接方向。

七、消融实验：每个设计决策背后都有数字为证

研究团队通过系统的消融实验，验证了每一个设计选择的贡献。

预测目标的影响是最戏剧性的。v-prediction的Relp高达35.44，δ1p仅30%，边界指标BF1只有0.46——这基本等于完全失效。切换到x-prediction后，Relp降到9.29，δ1p升到91.18%，BF1升到13.47。这个对比足以说明预测目标的选择对三维几何任务有决定性影响。

噪声时间步调度的影响同样不可忽视。纯对数正态调度在Relp=12.19的水平；把均值从-0.8调低到-1.6（把采样重心向高噪声区域移动）改善到10.73，但BF1反而下降；加入10%概率的强制零时间步后，Relp进一步降至9.68，BF1提升至7.24。

图像特征提取方式的影响也经过了系统对比。不用任何预训练特征（纯线性嵌入）时Relp=13.32；加入DINOv2最后一层特征后降至9.80；换用DINOv3最后一层降至9.68；使用DINOv3的4个均匀间隔层特征后降至9.29，BF1从5.11跳升至13.47——这个大幅提升表明多层特征融合对边界清晰度有极为显著的作用。研究团队还测试了专门为几何估计微调过的MoGe-2和DA3特征，这两者在深度精度指标（Rel和δ1）上进一步提升，但BF1反而低于DINOv3（11.75和12.58 vs. 13.47）。研究团队的解释是：经过回归训练微调的特征在几何精度上更好，但回归训练固有的平滑偏向会丢失高频边界信息。为了公平评估框架本身的效果，主实验统一使用DINOv3而非这些增强特征。

补丁大小对高分辨率图像的影响也得到了验证。在512×512分辨率下，补丁大小32的Relp=5.35，BF1=6.17；换为补丁大小16后Relp=5.01，BF1=10.37。更小的补丁保留了更多的高频细节，这对需要像素级精确度的几何任务尤为重要。

在生成式框架与确定性回归的直接对比中，研究团队用完全相同的架构、数据、训练流程训练了一个确定性回归版本（把时间步和噪声都固定为0）。结果是：确定性版本在训练初期收敛更快，但随后开始过拟合，最终稳定在更高的误差水平；而生成式版本训练全程平稳，最终达到更低的误差。BF1指标的差距最为明显：生成式13.92 vs. 确定性10.90，而且定性结果显示确定性版本在玻璃杯、透明板等区域完全失效，生成式版本则能给出合理的几何预测。

说到底，PointDiT这项研究传递的核心信息是：在三维几何估计这件事上，复杂不等于更好。把三维点云直接当作三通道"图像"来处理，用一个朴素的ViT做扩散骨干，辅以DINOv3的预训练特征，再加上x-prediction这个正确的预测目标，就能在不需要VAE、不需要复杂混合架构、不需要七七八八损失函数的前提下，超越那些精心设计的复杂系统。

这对普通人意味着什么？当你的手机或AR眼镜试图在单张照片中理解空间深度，或者当自动驾驶汽车需要从一个摄像头的视角重建道路几何时，更快、更准确、细节更清晰的几何估计系统会带来直接的体验改善——更精准的AR贴图、更可靠的障碍物识别、更真实的三维扫描。

这项研究还有一些明显的局限性值得坦诚面对。模型目前只支持固定分辨率（256×256和512×512），如何在任意分辨率下无缝工作还是一个开放问题。室外场景的表现仍弱于专门优化的回归方法，扩大室外训练数据的规模和多样性是填补这一差距的直接方向。此外，模型目前只输出几何，不输出颜色或其他属性，但研究团队指出，由于骨干是标准ViT，扩展到多模态输出在架构上几乎不需要改动。

对于想进一步深入了解这项技术的读者，可以通过arXiv编号2607.02515找到完整论文，研究团队也维护了一个项目主页供查阅更多可视化结果。

Q&A

Q1：PointDiT预测的"点云地图"和普通深度图有什么区别？

A：普通深度图只记录每个像素距离摄像头的距离（一个数字），要还原成三维坐标还需要知道相机的焦距等参数。点云地图直接记录每个像素的X、Y、Z三维空间坐标，不需要知道相机参数就能立即重建三维场景，信息量更丰富，使用起来更方便。

Q2：PointDiT为什么不用VAE，直接在点云空间扩散会有什么问题？

A：直接在点云空间扩散的主要挑战是数值范围不稳定——室内场景和室外场景的坐标数值差异极大，噪声很难有效破坏数据结构。PointDiT通过对每张点云做重心对齐和尺度归一化，把数据压缩到与标准正态噪声相当的范围，从而解决了这个问题，同时完全避免了VAE压缩带来的信息损失。

Q3：PointDiT单步推理效果已经很好，为什么还需要多步推理？

A：单步推理在深度精度指标（Rel和δ1）上已经达到很高水平，但边界清晰度（BF1）会随着推理步数增加而进一步提升。对于需要精细几何边界的应用（比如识别细薄结构或透明物体轮廓），多步推理能在同一个模型下以增加少量时间为代价换取更清晰的细节，无需重新训练。