澳大利亚国立大学与字节跳动联手，让AI把一张照片"捏"成逼真3D模型，这次它们做到了

这项由澳大利亚国立大学与字节跳动联合开展的研究，以预印本形式于2026年6月23日公开，论文编号为arXiv:2606.24874，有兴趣深入了解的读者可通过该编号查询完整论文。

你有没有遇到过这样的场景：手里只有一张心爱物品的照片，却希望能从各个角度欣赏它的全貌，甚至把它搬进游戏或虚拟现实世界里？这件事说起来简单，做起来却像是让一个从未见过苹果背面的人，仅凭正面照去雕刻出一整颗完整的苹果——这中间缺失的信息，必须靠某种方式去"猜"出来。

3D内容生成就是计算机视觉和人工智能领域试图攻克的这道难题。研究人员把这个问题称为"图像到3D生成"，也就是让机器从一张2D照片里，自动推断出完整的三维结构和表面外观。这项技术一旦成熟，对游戏开发、影视特效、电商展示、文物数字化保护、虚拟现实等领域都有极为深远的价值。

然而，现有的主流方法在一个关键地方屡屡翻车：生成出来的3D模型，外观质量往往令人失望——纹理模糊、细节丢失，照片上那件衬衫的格纹图案、那款相机机身上的品牌logo，统统变得面目模糊。这好比你请一位工匠按照照片复刻一座雕塑，他把大体形状做出来了，但表面的纹路、颜色、细节全部被他忽略了，交出来的成品只剩一个白模。

澳大利亚国立大学的研究团队与字节跳动的工程师们深入剖析了这个问题，发现问题的根源不只是模型能力不够强，而是整个技术流程里存在两处结构性的"卡脖子"瓶颈。正是为了彻底打通这两处堵点，他们提出了一个新的框架，命名为FLUX3D。

一、从照片到3D模型：一道工匠们长期做不好的题

要理解FLUX3D解决了什么问题，得先弄清楚当前主流技术是怎么工作的，以及它为什么会失败。

现在最受关注的一类3D生成方法，采用了一种叫做"稀疏体素表示"的技术。体素（voxel）可以理解为3D版本的像素——普通图片是由一个个小方格像素组成的，3D空间则可以被切割成一个个小立方体，也就是体素。"稀疏"的意思是，绝大多数体素是空的，只有物体表面附近那一层才有内容，这样可以大大节省计算资源。

这类方法的工作流程大致可以分成两个阶段：第一阶段确定哪些体素格子是"活跃的"，也就是确定3D物体的形状轮廓；第二阶段则为每个活跃体素填入外观信息，也就是颜色、纹理等视觉内容。为了让这个过程高效运行，整个系统会借助一个扩散模型（一种当下最先进的AI生成技术）来完成创作。

问题就出在这两个阶段里。研究团队把问题追溯到了两个具体的机制失效点，就像一条流水线上有两处零件装错了，导致最终产品质量大打折扣。

第一处失效发生在"建立内容库"的阶段。现有方法通常用一种叫做DINOv2的特征提取器，从多角度渲染的图片里抽取视觉信息，然后把这些信息存进体素格子里。DINOv2是一种优秀的视觉识别工具，它非常擅长理解"这张图片里是什么东西"，但它的设计目标是语义理解，也就是识别物体类别、场景内容这类高层次信息。为了做好语义理解，DINOv2在设计上会主动过滤掉高频细节——那些纹理细节、颜色变化、文字图案对于"认出这是一台相机"没有帮助，反而是干扰。于是，这些对外观还原至关重要的信息就在第一步就被丢掉了。更糟糕的是，系统还会对这些特征做进一步的高度压缩，把1024维的信息压缩到只有8维，这个过程就像把一幅高清画作扫描后存成极低分辨率的缩略图，信息损失是不可逆的。

第二处失效发生在"用AI生成内容"的阶段。扩散模型需要同时处理两种信息：一方面是条件图片（用户提供的那张2D照片），另一方面是3D体素网格里的内容。这两种信息的结构完全不同：照片是整齐的像素网格，体素是散落在3D空间里的稀疏点集。标准的扩散模型Transformer架构在设计时，并没有考虑这种不对称性，它无法有效地把2D图片里的某个局部区域精准对应到3D空间里的某个具体区域。这就好比你在指挥两支乐队合奏，一支按西方五线谱演奏，另一支按中国工尺谱演奏，指挥棒挥下去，两边都在弹，但配合起来总是差那么一口气，无法真正咬合。

这两处失效共同造成了一个结果：生成出来的3D模型，从正面看勉强过得去，转到背面或侧面，纹理就开始漂移、模糊，细节大量丢失。

二、换掉"语义大脑"，用"画家的眼睛"来理解图片

FLUX3D针对第一处失效的解决思路，是从根本上换掉特征提取器。

研究团队提出了一个关键洞察：我们要做的是外观还原，而不是语义理解。那么，哪种AI工具天生就擅长理解外观、还原细节呢？答案是图像生成扩散模型。

以FLUX为代表的现代图像生成模型，它的训练目标就是"看懂一张图、再把它生成出来"。为了做到这件事，它内部的特征表示必须包含丰富的高频外观信息——颜色的细微变化、纹理的精细结构、图案的具体形态，这些信息对于一个"要生成逼真图像"的模型来说缺一不可。换句话说，FLUX的内部特征就像一位画家记住一幅画的方式：不是只记住"这是一只猫"，而是记住了猫毛的颜色、花纹、光泽，每一根胡须的位置。

研究团队的方案，就是把这套用于图像生成的FLUX特征，直接用来构建体素内容库。他们从多个角度渲染3D物体，把每张渲染图都输入FLUX编码器提取特征，然后把这些特征聚合到对应的3D体素里，形成一套"以扩散特征为基础的结构化潜在表示"，他们给它起了个名字叫DA-SLAT，也就是"扩散对齐的结构化潜在表示"。

在这个基础上，他们还做了另一个重要改动：去掉了传统架构里的编码器部分。传统方案是先用编码器把体素特征再次压缩成一个紧凑的潜在编码，再交给解码器生成3D输出，这个压缩过程会再次损失信息。FLUX3D的方案是直接让FLUX特征充当"潜在表示"，跳过编码器，把这套富含外观信息的特征直接送进解码器，由解码器直接输出3D高斯模型参数。

这个"解码器专用架构"听起来像是省了一步，实际上是保住了信息。就像如果你手里有一张完整的高清原图，直接把它交给打印机，总比先把它压成低画质缩略图再打印出来效果好。

研究团队在Toys4k数据集上做了定量评测，结果颇为显著。以PSNR（峰值信噪比，数值越高表示重建图像与原图越接近）这个指标为例，原始TRELLIS方法得到31.54分，而FLUX3D的编码器-解码器版本达到了33.80分，完全解码器专用版本则进一步提升到34.12分。另一个衡量视觉感知质量的指标LPIPS（数值越低越好），TRELLIS得到0.02964，FLUX3D解码器专用版降至0.02668，提升同样明显。

研究团队还系统比较了多种不同的特征提取器：DINOv2、DINOv3、原始像素值、SDXL（另一款扩散模型），以及FLUX。结果显示，扩散类特征（SDXL和FLUX）明显优于语义类特征（DINOv2、DINOv3），而FLUX在所有方案里表现最佳。这个结果从另一个角度印证了研究团队的判断：做3D外观重建，要用"画家的眼睛"，而不是"图书馆员的分类系统"。

三、让2D图片和3D空间真正"说上话"：专为稀疏结构设计的扩散框架

解决了内容库的问题，研究团队把目光转向第二处失效：如何让2D图片信息和3D体素信息真正对齐、有效交流？

他们提出了两个互相配合的新组件，共同构成"稀疏结构感知的多模态扩散框架"。

第一个组件叫做SMDiT，全称"稀疏结构多模态扩散Transformer"。它的设计灵感来自图像生成领域最新的多模态扩散Transformer架构（如FLUX和Stable Diffusion 3所使用的MMDiT），但针对3D稀疏体素的特点做了专门改造。

SMDiT的工作方式可以用"两个乐队排练"来描述。在处理信息时，SMDiT会经历两种模式的交替：在"双流模块"阶段，2D图片信息和3D体素信息各走各的通道，各自用一套独立的参数处理自己的内容，保留各自的特有结构；在"单流模块"阶段，两路信息被合并在一起，通过联合注意力机制互相交流，让图片里的信息能够真正影响对应的3D体素，反之亦然。

这种"先各自热身，再合奏"的方式，比粗暴地把两种信息混在一起处理要精细得多。同时，为了进一步提高训练效率，系统还对数据做了"结构化打包"处理：3D端的体素标记通过稀疏降采样，把相邻8个体素（2×2×2的局部区域）打包成一个标记；2D端的图片则按4个像素（2×2）打包成一个patch标记。这样既保留了空间结构信息，又大大减少了需要处理的标记数量。

第二个组件叫做MARoPE，全称"模态感知旋转位置编码"。这个名字听起来很拗口，但它解决的问题其实很直观。

位置编码是告诉AI模型"这个信息在空间里处于什么位置"的机制。在自然语言处理里，位置编码告诉模型每个词在句子里的第几个位置；在图像处理里，位置编码告诉模型每个图片区域在画面里的坐标。现有的跨模态位置编码方案，主要是为文字-图片或图片-图片这类场景设计的，在图片（2D）和3D体素之间建立对应关系时，往往束手无策。

一些研究尝试过用3D感知的旋转位置编码来解决这个问题，思路是用相机参数（也就是拍摄角度、焦距等信息）把2D图片里的每个点映射到对应的3D坐标上。但这个方法有个致命弱点：它依赖精确的相机标定信息。在实际应用中，用户随手上传一张照片，通常根本不知道也不会提供相机参数，这个方法就失效了。

MARoPE的设计思路截然不同：它不试图精确计算2D图片里每个像素对应3D空间里的哪个点，而是构建一个"虚拟平面"的概念。具体来说，3D体素网格里的每个体素，它的坐标保持不变——（x, y, z）就是（x, y, z）；而2D图片里的每个图片区域，则被虚构地放置在3D空间的一个"虚拟平面"上，这个平面位于体素网格的外侧，就像把照片贴在3D箱子的正前方，坐标格式变成（图片行索引，图片列索引，体素最大z坐标+1）。

这样一来，图片区域和体素就都处于同一个统一的3D坐标体系里了。旋转位置编码（RoPE）有一个内在特性：距离越近的两个标记，注意力权重越大；距离越远的，注意力会自然衰减。利用这个特性，MARoPE会自动让图片里靠近中心的区域与3D体素里靠近正面的部分更容易交流，而图片边缘区域则更多影响体素外侧的部分。这种对应关系不需要精确的相机信息，而是让模型自己从大量数据里学习出2D与3D的对应规律。

可以把这个设计理解为：与其费力画一张精确的座位对应图，不如把两组人安排在同一个坐标系里的合理位置，让他们自然地找到旁边坐的人聊天。

四、真实测试的成绩单：在每一个评测指标上全面领先

研究团队在标准的图像到3D生成基准测试——Toys4k数据集上，与多种当前最先进的方法展开了全面较量。对比的方法涵盖了两大类：基于重建的方法（包括LGM和GeoLRM）以及基于生成的方法（包括GaussianAnything、DiffusionGS和TRELLIS）。

评测指标从多个维度衡量生成质量。SSIM（结构相似度，越高越好）、PSNR（峰值信噪比，越高越好）、LPIPS（感知图像质量，越低越好）用于衡量生成的3D模型从输入视角渲染出来的图像与真实图像有多接近；CLIP分数用于评估生成内容与图像语义的一致性；FD（Fréchet Distance，弗雷歇距离）和KD（核距离）则用于评估生成内容整体分布的质量，数值越低越好。

在这场全面比较中，FLUX3D的解码器专用版本在所有指标上都名列前茅。SSIM达到0.9653，PSNR达到26.26，LPIPS低至0.03509，CLIP分数高达98.37，FDincep降至8.73，KDincep降至0.039，FDdinov2降至54.92，KDdinov2降至0.42。与最接近的竞争对手TRELLIS相比，PSNR提升了约0.78个点，LPIPS降低了约20%，FDdinov2降低了约14%。

研究团队还额外与非3DGS格式的3D生成方法进行了交叉比较，包括使用NeRF格式的Shape-E和TRELLIS-NeRF，以及使用纹理网格格式的InstantMesh和3DTopia-XL。FLUX3D在这场跨类别比较中同样胜出，展示出不受输出格式限制的竞争力。

视觉比较方面，研究团队展示了多个日常物品和角色的生成结果对比。LGM生成的模型形状和外观都有明显变形；DiffusionGS和TRELLIS从输入角度看尚可，但换一个角度观看时，纹理细节就开始出现错位和模糊；而FLUX3D生成的结果，无论是从哪个角度看，颜色准确性和纹理细节都保持得相当稳定，在人物角色、建筑物、文物艺术品等多种类别上都表现出色。特别是在包含文字和logo的物体上，差距尤为明显——这类高频信息正是传统方法最容易失败的地方。

研究团队还专门测试了系统对稀疏体素布局质量的鲁棒性。在实验中，他们用TRELLIS的公开阶段一模型预测布局（这会引入一定的布局误差），然后分别用FLUX3D和TRELLIS的阶段二模型生成外观。结果显示，两种方法的绝对指标都有所下降，但FLUX3D下降幅度更小，与TRELLIS的优势差距反而进一步扩大（FDi优势从23%扩大到33%，FDd从14%扩大到21%）。这说明FLUX3D的提升源于自身的架构和先验设计，而不依赖于完美的输入布局。

多视角一致性测试中，研究团队在Toys4K数据集上渲染了360度方位的24个视角，逐视角对比PSNR。FLUX3D的平均PSNR（25.96）高于TRELLIS（25.08），而且视角间的标准差更小（1.44对比1.76），说明FLUX3D不仅整体质量更高，在各个视角之间也更加均匀一致，不会出现某个方向特别好看而另一个方向大幅劣化的情况。

五、消融实验：逐个拆解，确认每个零件的贡献

为了严格验证每个设计选择的价值，研究团队进行了系统的消融实验——也就是依次去掉某个组件，看看少了它之后成绩会下降多少。

首先是"累积添加"实验：从TRELLIS基础版本出发，依次加入FLUX特征、解码器专用架构、SMDiT和MARoPE，每加一个组件都测量指标变化。结果显示，每一个组件加入后，所有评测指标都有改善，没有一个是"凑数"的。其中，DA-SLAT（FLUX特征加上解码器专用架构）对重建和生成质量的提升最为直接，SMDiT进一步改善了跨模态对齐，MARoPE再次提升了整体对齐精度并减少了模糊伪影。

随后的"逐一去除"实验从相反方向印证了这一结论。把DA-SLAT去掉之后，FDincep从8.73跳升到10.96；去掉SMDiT，FDincep升至10.03；去掉MARoPE，FDincep升至9.62。每一项去除都造成了明显的性能退步。

研究团队还专门拆解了FLUX先验（也就是用FLUX特征代替DINOv2）和模型架构设计各自的贡献。结果显示，FLUX特征让FDi从11.29降至10.47，贡献了7.3%的改善；而模型架构设计（解码器专用+SMDiT+MARoPE）在此基础上继续把FDi从10.47降至8.73，贡献了16.6%的额外改善。换句话说，模型架构设计的贡献比换特征提取器的贡献更大，这说明两者都不可或缺，而且相互加成。

六、系统规模与实际运行成本

FLUX3D的主要组件中，解码器有12层、12个注意力头、768维通道，约8500万参数；SMDiT则有24层、16个注意力头、1156维通道，约8.2亿参数。整个系统在单块NVIDIA A100 GPU上运行，推理时间约5.1秒，显存占用约5.18GB。值得注意的是，编码器-解码器版本和纯解码器版本在推理时间和显存消耗上几乎完全相同，因为两者唯一的差别只在于输入投影层的维度（8维对比16维），这部分开销可以忽略不计。

训练时，系统在8块NVIDIA A100 GPU上运行，SMDiT训练20万步，解码器训练10万步，使用AdamW优化器，学习率设为0.0001，每GPU批量大小为8。

训练数据方面，研究团队使用了3D-FUTURE、ABO、HSSD和Objaverse-XL四个数据集，并对数据进行了严格的质量筛选。他们首先用预训练的美学评分模型对每个3D资产从10个渲染视角打分，过滤掉低质量资产。然后专门处理了Objaverse-XL中普遍存在的"纹理缺失"问题——渲染引擎会把缺少纹理的区域自动渲染成粉红色或白色，这类数据如果混入训练集会造成偏差。他们用一个视觉语言模型（VLM）来识别并过滤这类资产，把全部满足条件的3D对象分成"纯粉红色"、"混合粉红色"、"裸网格"和"正常"四类，只保留正常资产。筛选后，最终保留了大约36万个3D实例用于训练。

在训练细节上，重建实验中每个资产从球面均匀采样150个视角渲染图像，分辨率512；生成实验中则采用24个视角、分辨率1024的渲染图作为条件输入，以在细节丰富度和计算效率之间取得平衡。训练目标函数包含感知L1重建损失、SSIM损失、LPIPS损失，以及针对高斯体积和不透明度的几何正则化项。为了增强系统对扩散模型连续输出的鲁棒性，训练时还引入了随机性：不是直接用FLUX VAE编码器的均值μ作为结构化潜在表示，而是加入一个带噪声的扰动项，形式为μ+σ·N(0, I)，让模型学会应对推理时可能遇到的各种分布偏差。

七、当前的局限与未来的方向

尽管FLUX3D在多项指标上全面超越了竞争对手，研究团队在论文中坦率地指出了两个当前仍未解决的局限。

第一个局限是对包含语义文字的对象，比如带有品牌logo或印刷文字的产品，外观建模的质量与专业的2D图像生成方法相比还有一定差距。文字和logo是极为高频的视觉信息，哪怕轻微的模糊或变形都会让人一眼看出。研究团队认为，更全面、更高质量的训练数据可能是改善这一弱点的主要途径。

第二个局限是输入特征体素的构建目前完全依赖多视角渲染图，也就是说需要从已有的3D模型出发生成训练数据，这个流程存在一定的限制。研究团队提出，未来可以探索更好的特征体素构建策略，或者利用图像、视频等其他模态的信息来辅助表示学习，进一步提升重建质量和通用性。

说到底，FLUX3D做的事情，是把一个"善于理解语义"的旧零件，换成了一个"善于还原外观"的新零件，再配上两个专门为3D稀疏结构量身定制的协作机制。三个改动缺一不可，但加在一起，让整条3D生成流水线的外观保真度迈上了一个新台阶。

对于普通人来说，这项研究意味着：未来当你把一张心爱物品的照片上传到某个应用，它帮你生成的3D模型，很可能真的能把照片上那件毛衣的织纹、那款手表表盘上的刻度线、那栋建筑外墙的砖块纹路都还原出来，而不是给你一个外观模糊的"意象版"。

这距离让每个人都能轻松创建高质量3D内容的愿景，又近了一步。感兴趣的读者可以通过arXiv编号2606.24874查阅完整论文，深入了解技术细节。

Q&A

Q1：FLUX3D和普通的3D生成方法相比，主要改进在哪里？

A：FLUX3D的核心改进有两处。一是把特征提取器从DINOv2换成了FLUX扩散特征，后者专为图像生成设计，能保留更多外观细节；二是设计了专为3D稀疏体素结构打造的扩散Transformer（SMDiT）和新型位置编码（MARoPE），让2D图片信息和3D空间信息能更精准地对应起来，避免纹理错位模糊。两个改进共同作用，让生成的3D模型外观更接近原始图片。

Q2：MARoPE为什么不需要相机参数也能建立2D和3D的对应关系？

A：MARoPE不试图精确计算哪个像素对应哪个体素，而是把2D图片虚构地放置在3D体素网格外侧的一个"虚拟平面"上，让两者处于同一个坐标系里。旋转位置编码（RoPE）的距离衰减特性会自然地让图片中间区域更多影响附近的体素，边缘区域影响外侧体素，这种对应关系由模型从数据里自己学习，不依赖精确相机参数。

Q3：FLUX3D在Toys4k测试集上具体比TRELLIS提升了多少？

A：在Toys4k数据集上，FLUX3D（解码器专用版）的PSNR从TRELLIS的25.48提升到26.26，LPIPS从0.04389降至0.03509（降低约20%），CLIP分数从97.92升至98.37，FDdinov2从63.66降至54.92（降低约14%）。多视角一致性测试中，FLUX3D的跨视角PSNR标准差也比TRELLIS低18%，说明各个角度的生成质量更加均匀。