一张照片变出立体城镇：UCSC和哥伦比亚大学联合研发的3DTown技术突破

从单一图像构建三维城镇：让虚拟世界变得触手可及

这项由加州大学圣克鲁兹分校（UC Santa Cruz）的Kaizhi Zheng和Jing Gu、哥伦比亚大学（Columbia University）的Ruijian Zhang以及Cybever AI的Jie Yang、加州大学圣克鲁兹分校的Xin Eric Wang共同完成的研究，于2025年5月发表在arXiv预印本平台（arXiv:2505.15765v1）。有兴趣深入了解的读者可以通过研究团队的项目网站（https://eric-ai-lab.github.io/3dtown.github.io/）查看更多信息。

一、为什么我们需要从单张图像生成3D场景？

想象一下，你正在开发一款虚拟现实游戏，需要大量精美的3D城镇场景，但你既没有昂贵的3D扫描设备，也没有足够的人力去手动建模。或者你是一家房地产公司，想要快速将平面图纸转化为可交互的虚拟样板房。这时，如果能有一种技术，只需一张鸟瞰图就能自动生成完整的3D场景，那将是多么便捷！

这正是加州大学圣克鲁兹分校和哥伦比亚大学研究团队开发的"3DTown"技术所要解决的问题。在我们日常生活中，从平面到立体的转换无处不在——从看平面电视到体验3D电影，从纸质图纸到实体建筑。但在数字世界里，这种转换往往需要专业设备、多角度拍摄或耗时的人工建模。3DTown提供了一种轻量级的替代方案：仅需一张俯视图，就能生成逼真、连贯的3D场景。

目前的3D生成技术在单个物体层面已经取得了显著成果，但当扩展到整个场景时，常常会出现几何不一致、布局混乱和网格质量低下等问题。想象一下，如果你用现有技术处理一张城镇俯视图，可能会得到一个建筑物悬浮在空中、道路扭曲变形，或者纹理模糊不清的奇怪世界。3DTown团队正是要解决这些挑战，让生成的3D世界既真实又连贯。

二、3DTown：一种无需训练的3D场景生成新方法

3DTown的核心思想可以比作搭建积木城堡的过程。想象你有一张城堡的俯视照片，而不是直接尝试一次性复制整个城堡（这很容易出错），你决定将照片分成小区域，一块一块地搭建，再确保它们能无缝衔接。

研究团队的方法基于两个关键原则：区域化生成和空间感知的3D修复。区域化生成就像是将大拼图分解成小块，先完成每个小块，再将它们组合起来，这样可以提高图像到3D的对齐精度和分辨率。而空间感知的3D修复则像是在拼图的接缝处使用特殊胶水，确保全局场景的连贯性和高质量几何生成。

具体来说，3DTown首先将输入的俯视图分解成重叠的区域，然后使用预训练的3D物体生成器（如Trellis）处理每个区域。这就像是请一位精通雕刻单个建筑的艺术家来处理城镇的每个街区。接着，通过一种称为"掩码校正流修复"的过程填充缺失的几何信息，同时保持结构连续性。这相当于一位专家在检查整个城镇模型，发现缺失部分后进行修复，同时确保修复的部分与原有部分风格一致。

这种模块化设计允许3DTown克服分辨率瓶颈并保持空间结构，而无需进行3D监督训练或微调。你可以把它想象成一个非常聪明的助手，他不需要特别学习如何搭建城镇模型，而是利用已有的单体建筑知识，通过合理的分解和组合策略，创造出完整且连贯的城镇场景。

三、技术细节：3DTown如何将平面变成立体？

### 1. 结构化潜在表示：积木的基本单元

在开始构建3D场景之前，3DTown需要一种有效的方式来表示3D结构。想象你在玩一种特殊的积木游戏，每个积木块（称为体素）都有两个属性：它的位置（在3D空间中的坐标）和它的特征（颜色、质地等）。

在技术层面，研究团队使用了结构化潜在表示，这是一种由位置索引和潜在特征向量组成的数据结构。位置索引告诉我们体素在3D网格中的位置，而潜在特征向量则包含了体素的外观和几何信息。这就像给每个积木块一个地址标签（告诉你它应该放在哪里）和一个属性卡片（告诉你它应该是什么样子）。

### 2. 空间先验初始化：搭建骨架

当你拿到一张城镇的俯视图时，第一步是要理解这个城镇的大致结构。3DTown使用单目深度估计器从输入图像中预测深度信息，并推断相机参数，从而构建像素级点云。这就像是从平面照片中提取出景物的大致高低关系，建立一个初步的3D骨架。

然而，由于遮挡，这些点云会有很多缺失区域。为了解决这个问题，研究团队提出了一种方法：先单独生成具有标志性的建筑物（如城堡中心的主塔），然后将后续生成内容建立在这些标志性结构的几何基础上。这就像是先搭建城堡的主要塔楼，然后再围绕它添加其他建筑。

### 3. 区域化生成：分而治之

直接将预训练的物体生成器应用于整个场景会导致低分辨率几何和布局失真。想象一下，如果你试图一次性描绘整个城市，很容易忽略细节或错误安排建筑物位置。

为了解决这个问题，3DTown将场景分割成重叠的区域，并对每个区域单独进行处理。每个区域都与其对应的图像裁剪部分关联，确保生成内容与图像证据紧密对应。这就像是将一张大地图分成多个小区域，分别绘制后再拼接起来，这样每个区域都能得到足够的关注和细节处理。

### 4. 空间感知的3D修复：无缝连接

虽然区域化生成提高了局部保真度，但它也引入了一个新挑战：如何确保区域之间的全局一致性？3DTown借鉴了2D扩散模型中的无训练修复方法（如RePaint），并将其适应于3D生成。

具体来说，对于每个区域级子网格，系统会将已知的活动体素标记为保留，而将未知体素标记为重新生成。使用掩码校正流管道，系统能够完成区域结构并获得局部特征，同时保持与已知内容的一致性。这就像是在拼图的接缝处使用特殊的过渡技术，确保每块拼图能够自然地融合在一起，没有明显的断裂或不协调。

### 5. 区域融合：组装完整场景

生成每个区域后，系统会更新场景级结构化潜在表示，用区域级潜在表示替换相应部分。由于区域是使用分块策略提取的，某些区域可能只包含前景地标的部分观察。为了保持地标完整性，系统会在融合过程中丢弃对应于部分前景的结构化潜在表示。

每个区域都是从场景级潜在表示的最新版本中提取的，确保区域之间的一致性。如果一个区域与先前生成的区域重叠，其重叠体素会在生成过程中被约束为匹配现有内容。这强制了连续性并避免了重叠区域中的不一致性，从而实现了相邻区域之间的平滑过渡，同时保留了已合成的内容。

最终，完整的场景级潜在表示通过物体解码器解码，产生场景级网格和3D高斯分布。完整的纹理场景使用物理渲染烘焙和高斯分布渲染的组合进行渲染。这就像是将所有精心制作的模型部件组装起来，并为它们上色、添加纹理，最终呈现出一个完整而生动的3D城镇。

四、实验成果：3DTown与现有技术的比较

为了评估3DTown的性能，研究团队构建了一个包含100个多样化俯视场景图像的自定义测试集。这些图像由GPT-4o生成，涵盖了"雪地村庄"、"沙漠城镇"等各种风格。

由于缺乏地面真实网格，团队通过模型间的成对比较来衡量性能。对于每个参考图像，两个生成的场景在三个标准上进行评估：几何质量、布局一致性和纹理一致性。几何质量评估哪个网格包含更详细、更精细的结构，更接近图像证据。布局一致性评估生成的网格是否与参考图像具有相同的布局。纹理一致性衡量生成的网格纹理与参考图像相应部分的一致程度。

研究结果令人印象深刻。无论是在人类偏好还是GPT-4o评估中，3DTown都大幅优于现有技术，包括Trellis、Hunyuan3D-2和TripoSG。例如，在人类偏好评估中，3DTown在几何质量方面的胜率比Trellis高37个百分点（68.5%对31.5%），比TripoSG高55个百分点（77.5%对22.5%）。

从质量上看，3DTown生成的场景资产具有清晰的结构、一致的布局和逼真的表面细节，与参考俯视图紧密匹配。相比之下，Trellis通常生成过度集中、低分辨率的结构，缺乏外围细节。Hunyuan3D-2在布局扭曲和几何幻觉方面表现出明显问题，尽管在隔离部分的纹理上尚可接受。TripoSG保持了一些构图结构，但经常引入重复对象，忽略参考图像中的布局证据。

研究团队还进行了消融研究，以评估3DTown关键组件的贡献：区域化生成策略和预生成地标的使用。结果表明，移除区域化生成会导致性能大幅下降，这表明整体生成无法充分利用预训练模型的能力。没有区域化条件，模型难以解析空间上下文和图像到3D的对应关系，产生低分辨率和空间不连贯的输出。

同样，禁用地标感知初始化，仅依靠单目深度构建空间先验，也会导致几何和布局质量明显下降，特别是在包含大型前景结构（如门或塔）的区域。由于区域化生成以空间块处理场景，地标充当锚点，维持区域边界之间的对象连续性。没有它们，模型更容易在区域之间产生不连贯或不匹配的内容。

五、3DTown的意义与应用前景

3DTown的出现为从单一图像生成高质量、连贯3D场景提供了一种有效的方法。这项技术有望在多个领域产生深远影响：

在游戏开发中，设计师可以通过绘制简单的俯视图快速生成复杂的3D环境，大大加速游戏世界的构建过程。想象一下，一个小型独立游戏工作室不再需要投入大量资源进行3D建模，而是可以通过绘制2D地图快速生成可玩的3D世界。

在虚拟现实和增强现实领域，3DTown可以帮助创建更丰富、更沉浸式的体验。从旅游景点的虚拟预览到历史遗址的数字重建，只需一张俯视图或平面图就能创建可探索的3D环境。

在城市规划和建筑设计中，3DTown可以将概念草图或鸟瞰图快速转化为可视化的3D模型，帮助规划者和利益相关者更好地理解和评估设计方案。想象一个城市规划师只需绘制一张新社区的俯视图，就能立即生成一个详细的3D模型，用于公众咨询和决策支持。

在教育领域，3DTown可以帮助学生更直观地理解地理、历史和建筑概念。教师可以将平面地图或历史遗址的俯视图转化为交互式3D模型，增强学习体验。

然而，3DTown也存在一些局限性。预训练的3D生成器是在单物体图像上训练的，即使经过区域分解，底层分布不匹配仍可能导致块级幻觉，如重复的外观或不现实的屋顶形状。此外，粗糙的空间先验由于遮挡而包含许多空洞，主导这类空洞的区域有时会从生成器继承空或过度平滑的表面。

未来的研究方向可能包括场景级微调或领域适应，以减少这些幻觉；集成不确定性感知的深度完成、多视图线索或语义先验，以产生更密集的支架和更可靠的修复。随着这些改进的实现，我们可以期待3DTown及类似技术在数字内容创建和虚拟环境构建中发挥越来越重要的作用。

结论：单张图片到3D世界的桥梁

归根结底，3DTown代表了一种突破性的方法，能够从单一俯视图生成高质量、连贯的3D场景。通过结合区域化生成和空间感知的3D修复，这项技术克服了现有方法的局限性，在几何质量、布局一致性和纹理保真度方面取得了显著改进。

就像魔术师能从帽子里变出一只兔子一样，3DTown能从一张平面图像中"变出"一个立体世界。但与魔术不同，这不是幻觉，而是基于坚实科学原理的技术创新。它为创建虚拟环境提供了一种更简单、更高效的方式，有望在游戏开发、虚拟现实、城市规划和教育等多个领域产生广泛影响。

如果你对3DTown感兴趣，可以访问项目网站（https://eric-ai-lab.github.io/3dtown.github.io/）了解更多信息，或查阅原始论文获取完整的技术细节。随着技术的不断发展，我们可以期待在不久的将来，从平面到立体的转换会变得更加简单和普遍，为我们打开一个充满可能性的数字世界。