南开大学、南洋理工大学等联合团队，教AI把任何物品"搬进"照片，还能随心旋转角度

这项由南开大学、南洋理工大学、商汤科技研究院等机构联合完成的研究，发表于2026年第43届国际机器学习大会（ICML 2026），会议地点为韩国首尔，收录于PMLR第306卷。有兴趣深入了解的读者可以通过论文编号arXiv:2606.06601查询完整论文。

**一个你可能没想过的难题**

假设你是一位室内设计师，手头有一张沙发的照片，和一张空荡荡的客厅照片。你的任务是让这张沙发"出现"在客厅里，而且看起来就像是真的放在那儿一样——不仅颜色、光影要自然融合，沙发的朝向和角度，也必须精确符合你脑子里的设想。也许你希望沙发侧对着窗户，或者略微斜放对着电视。

这件事，对人类来说只是一个设计稿上的草图，但对AI来说，却是个极其棘手的挑战。目前的AI图像处理工具大多只会"填空"——给一张背景图，再给一张物体图，AI会把物体塞进去，但至于物体该朝哪个方向，摆成什么姿势，完全凭AI自己猜。你用文字告诉它"把沙发侧着放"，AI要么理解不了，要么给你一个它觉得合理但其实根本不是你要的摆法。

正是为了解决这个问题，研究团队开发了一个叫做**DIRECT**的系统，全称是"Decomposed Injection for REference Composition and Target-integration"。用一句话概括，DIRECT的本事就是：你可以把一张物体的照片"升维"成一个可以在三维空间里随意旋转的模型，然后把它按你指定的角度和位置，无缝地"搬进"任何一张背景图片里。

**一、现有工具为什么做不好这件事**

在DIRECT出现之前，研究团队系统地分析了现有工具的失败原因，这对理解DIRECT的创新意义至关重要。

目前解决"把物体放进背景图"这个问题的工具，大致分成两类。第一类是靠文字指令来控制的生成模型，比如谷歌的Nano Banana Pro这类强大的图像生成AI。你可以用语言告诉它"把这本书放进书架的第二层，靠右侧倾斜"，但语言天然是模糊的。"靠右侧倾斜"到底是多少度？书脊朝前还是朝后？这些AI根本无法从文字中精确推断，最终往往会生成一个看起来合理、实际上完全不是你想要的摆放效果。

第二类是参数化的三维感知模型，比如Object3DIT。这类工具允许你输入一个旋转角度的数字，比如"旋转320度"，然后AI会尝试按照这个参数调整物体的外观。但问题在于，一个数字和一张像素图之间存在巨大的鸿沟——模型很难把"抽象的旋转角度数值"精确地转化成"每一个像素该长什么样"。结果就是物体要么没转对，要么转了之后形状变形、细节丢失。

研究团队把这两类问题的根源总结得很清楚：前者缺乏精确的空间控制信号，后者缺乏密集的视觉对应关系。说白了，一个是"指令太模糊"，另一个是"指令太稀疏"。

**二、DIRECT的核心思路：先"建模型"，再"渲染图"，再"精细融合"**

DIRECT的解决之道，可以用一个生活化的比喻来理解。假设你是一个舞台布景师，要把一件真实道具（参考物体）摆进一个真实场景（背景图片）里，并且要完全按照导演的要求来摆放角度。

一个糟糕的方案是：导演用语言描述角度，或者只给你一个旋转度数，然后你凭感觉摆。

DIRECT的方案是：先用3D扫描仪把道具做成一个可以随意摆弄的实体模型，导演直接用手在三维空间里转动这个模型，调整到满意的角度，然后对这个角度拍一张"效果预览图"，舞台布景师再根据这张预览图，结合道具的真实质感和场景的真实光线，完成最终的布景。

DIRECT的工作流程正是如此。首先，系统拿到参考物体的照片后，会利用最新的图像转三维模型技术（具体使用的是TRELLIS这个工具），把这张二维照片"升维"成一个粗糙的三维模型，称为"3D视觉代理"（3D visual proxy）。用户可以在一个交互界面里，像捏橡皮泥一样随意旋转和移动这个三维模型，把它摆放到想要的位置和角度。系统会记录下这个六自由度姿态（包括三个方向的平移和三个轴向的旋转），然后把这个三维模型从指定角度渲染成一张密集的"几何引导图"（Igeo）。这张图就是最终生成时的精确空间蓝图。

然而，三维模型渲染出来的图像往往质感很差——纹理模糊、细节丢失。如果直接用这张模糊的渲染图来指导生成，最终的结果也会是一张模糊的合成图。研究团队意识到，这里存在一个根本性的矛盾：几何信息（物体的姿态和形状）最好从三维渲染图里获取，但外观信息（物体的真实纹理和细节）却只存在于原始参考照片里。

DIRECT的核心创新就在于：把这两种信息彻底分开处理，然后再精妙地融合在一起。

**三、三重引导：几何、外观、场景，各司其职**

DIRECT的生成过程由三种引导信号共同控制，每一种都通过独立的"通道"注入到AI的生成过程中，它们之间互不干扰。研究团队把这套机制叫做"几何-外观-场景三元引导"（Geometry-Appearance-Context Triplet Guidance）。

几何引导来自三维代理渲染出来的那张图（Igeo）。这里有一个精妙的设计细节：研究团队没有使用深度图或法线图这类传统的几何信号，而是直接使用渲染出来的彩色RGB图像。这是因为传统的深度图和法线图存在一个致命缺陷——对于对称物体来说，正面和反面的深度图、法线图看起来几乎一模一样。比如一幅圆形的路牌，无论是正面还是旋转180度后的背面，它的深度图都是一个圆形的鼓包，根本分不清朝向。而彩色渲染图保留了颜色和纹理信息，AI能从"正面有字"和"背面没字"这样的视觉差异中，正确判断物体的朝向。这个设计让DIRECT能正确处理各种对称物体的旋转问题。

外观引导来自原始的参考物体照片（Iref）。尽管三维模型的渲染图提供了精确的姿态信息，但它的质感往往是模糊的。通过把原始照片重新注入生成过程，AI可以从中提取高频的纹理细节，最终生成的物体在保持正确姿态的同时，还能拥有接近原始照片的高保真外观。

场景引导来自对目标背景图片的全局编码。这里有一个工程上的难点：为了让AI专注于处理物体插入的区域，系统会把背景图裁剪成以插入区域为中心的局部图像来处理。但这样一来，背景图里的整体光线信息、透视关系就会丢失。研究团队的解决方法是"双层处理"：局部层面，AI在裁剪出来的高分辨率局部图上专注完成物体插入；全局层面，系统用一个叫SIGLIP的图像编码器把完整的背景图压缩成一组全局语义信号，通过注意力机制让AI在生成时仍然能"感知"到整个场景的光线和氛围，从而让插入的物体在色调、光影上与整个场景协调。

**四、独立通道注入：解决三个信号互相干扰的问题**

把三种引导信号同时输入AI，并不是简单地把它们拼在一起。研究团队发现，如果用一种叫做"朴素拼接"（naive concatenation）的方式——就是直接把这些信号堆在一起输入——AI会产生严重的"信号串扰"（condition interference）。具体表现是：AI会过度依赖几何渲染图的外观，导致最终生成的物体不仅姿态正确，连渲染图里的模糊纹理也一起"继承"了，完全忽视了那张高质量的原始参考照片。

为了解决这个问题，研究团队设计了"分解注入策略"（Decomposed Injection Strategy）。这套机制从两个层面来区分不同的信号。

第一个层面是独立的位置编码。AI在处理图像时，需要知道每个像素（或特征）的位置关系。研究团队为几何引导图和外观引导图分配了不同的位置编码方式（具体是旋转位置嵌入，RoPE），让AI在注意力计算时能清楚地区分"这个信息来自几何图"还是"这个信息来自外观图"，从而在空间上把它们隔离开。全局场景信号因为不需要精确的像素对应关系，所以不需要额外的空间位置编码。

第二个层面是模态专属的适配器（LoRA adapters）。研究团队在AI的自注意力层中，为每一种信号单独配备了一组轻量级的适配参数（称为LoRA）。几何引导有自己专属的一组参数，专门负责提取结构和姿态信息；外观引导有另一组专属参数，专门负责提取纹理和身份细节；场景引导又有独立的一组参数，专门负责提取全局氛围信息。这样，三种信号的处理路径从根本上就被隔离开了，AI能更准确地从正确的来源获取正确的信息，而不会混淆。

**五、训练数据的构建：从"真实世界"照片里自动制造配对样本**

训练这样一个系统，需要大量的"配对数据"——也就是同一个物体的多个角度照片，加上包含该物体的真实场景图片。现有的三维数据集（比如MVImgNet）虽然提供了多视角视频，但存在三个明显短板：拍摄背景太简单（通常是干净的白底或简单环境），相机角度变化范围太窄（大多是俯视旋转拍摄），而且从视频里提取的帧画质经常因为运动模糊而变差。

研究团队为此设计了一套自动化数据构建流程，可以直接从普通的单张照片里生成配对训练样本。这套流程分两步走。

第一步是用AI智能体来筛选高质量的物体实例。研究团队使用Qwen3-VL这个多模态大语言模型和SAM-3分割模型，构建了一个三阶段的智能筛选器。首先，AI分析整张图片，提出图中存在哪些类别的显著物体；然后，分割模型根据这些类别生成候选的物体轮廓；最后，AI再仔细检查每个候选物体，剔除那些被遮挡、被截断或者分割轮廓不准确的实例。经过这三关过滤，留下的都是完整可见、轮廓精准的高质量物体。

第二步是合成参考视图。策略非常巧妙：把原始的真实照片当作训练的"目标答案"（ground truth），而把另一个角度的"参考输入"通过生成模型合成出来。具体做法是：先把筛选出来的物体从背景中抠出来，然后用Qwen-Image-Edit这个图像编辑模型，把它旋转到一个随机的新角度，生成一张新的参考图片。这样，训练数据就包含了"合成参考图"加"真实目标图"的配对。由于目标图始终是真实照片，训练信号始终锚定在真实世界的质感和复杂背景里，克服了纯合成数据集的局限。

最终，研究团队把从SA-1B数据集（Meta发布的超大规模分割数据集）里处理出来的6.5万对样本，和从MVImgNet里筛选出来的9.3万对样本合并，构成了约16万对的混合训练数据集。

**六、训练过程中的两个关键技巧**

在训练阶段，研究团队还发现并解决了两个棘手问题。

第一个问题叫"形状泄漏"（shape leakage）。训练时，系统需要告诉AI"在哪个区域"进行物体插入，这个区域通常用一个遮罩（mask）来表示。如果直接把目标物体的精确轮廓遮罩告诉AI，AI会偷懒——它会直接按照遮罩的轮廓形状填充物体，根本不去看几何引导图该指定的姿态，相当于作弊。为了打破这个捷径，研究团队采用了"形状分解遮罩增强"策略：训练时，把精确的物体轮廓遮罩替换成从外部数据集里随机采样来的、形状无关的遮罩。这样一来，AI就没有办法靠遮罩形状来猜测物体应该长什么样，只能老老实实地依赖几何引导图来学习正确的姿态。

第二个是分辨率的问题。处理高分辨率图像需要消耗大量计算资源。为了兼顾效率和质量，研究团队采用了"渐进式分辨率训练"策略：第一阶段在较低的固定分辨率（512×512像素）下训练模型，让它先学会基本能力；第二阶段再用约100万像素的高分辨率图像进行精调，同时支持任意长宽比的输入，让模型能适应各种形状的物体和场景。

**七、自动对齐：让三维模型的渲染角度与真实照片对上**

训练时还有一个工程难点：系统需要知道每张目标图片里，物体对应的三维渲染姿态是什么。这个过程叫"几何对齐"（Geometric Alignment）。

研究团队设计了一套两阶段的自动对齐流程。首先，对每张目标图片，用TRELLIS重建出对应物体的三维模型，并在模型上预设六个标准视角（前、后、左、右、上、下）分别渲染出六张图。然后，把这六张渲染图加上原始目标图片一共七张图，输入到VGGT（一个能从多张图片中估算相对相机姿态的模型）里，推算出目标图片对应的相机位置。因为VGGT的输出坐标系和三维模型的坐标系之间存在偏差，系统会通过六个预设锚定视角来标定这个偏差，进行坐标系对齐。这一步得到一个粗略的姿态估计。

有了粗略估计之后，系统进入精化阶段：把相机姿态参数当作可学习的变量，通过可微分的三维高斯渲染器来渲染物体的透明度蒙版，然后最小化这个渲染蒙版与真实物体轮廓之间的差异，迭代优化直到两者精确对齐。最终精确的姿态参数和对应的渲染图会被缓存下来，供训练高效使用。

**八、实验结果：数字和图像都说明了什么**

研究团队从构建的数据集里随机抽取200对样本作为测试集，其中一半来自MVImgNet（真实多视角数据），另一半来自SA-1B（通过自动流程合成的数据）。测试集里的每对样本都经过人工核验，确保参考图和目标图之间的一致性。

评测用了六个指标，分别从三个角度衡量结果的质量。图像保真度方面使用PSNR、SSIM、LPIPS三个指标，分别衡量与真实图片的相似程度（PSNR越高越好，LPIPS越低越好）。身份保留方面使用CLIP-I分数和DINO分数，衡量生成的物体与参考物体在视觉特征上有多相似。姿态准确性方面，研究团队自己设计了一个叫做"匹配误差"（Matching Error）的指标：在生成图像中物体所在的区域里，用MASt3R这个工具建立生成物体与几何渲染图之间的像素对应关系，然后计算平均像素偏差，偏差越小说明生成的物体越忠实于指定姿态。

对比的基线方法分为两组：稳定扩散（Stable Diffusion）系列中，DIRECT的SD版本对比"Object3DIT+AnyDoor"和"TRELLIS+AnyDoor"两个级联方案；FLUX系列中，DIRECT的FLUX版本对比"Object3DIT+InsertAnything"和"TRELLIS+InsertAnything"两个级联方案。

结果显示，DIRECT在所有六个指标上都超过了对应组的所有基线方法。在SD组，DIRECT的PSNR比最好的基线高出约2.15分，SSIM高出约0.051，LPIPS低约0.106，CLIP-I高约0.042，DINO分数高约0.065，匹配误差从75.4降到21.4。在FLUX组，PSNR比最好的基线高约1.09分，LPIPS从0.217降到0.147，DINO从0.902提升到0.936，匹配误差从19.6降到17.8。这些数字的背后是什么意思？简单说，DIRECT生成的图像更清晰、物体的细节更像原始照片，而且物体的朝向也更准确地符合用户指定的要求。

研究团队还专门测试了DIRECT在面对大幅度姿态变化时的表现，把测试集按照参考图和目标图之间的旋转角度差分成四组：0到45度、45到90度、90到135度、135到180度。结果显示，DIRECT在四组里的表现都相当稳定，图像保真度、身份保留和姿态准确性几乎没有随旋转角度增大而明显变差。这说明DIRECT不仅能处理小幅度调整，也能胜任接近180度的大幅翻转。

此外，研究团队还专门测试了DIRECT对三维重建质量低下的鲁棒性。在一个极端案例里，参考物体表面有大量俄文文字，但三维重建后这些文字已经完全模糊无法辨认。尽管如此，DIRECT最终生成的插入结果里，文字依然清晰可辨。这验证了分解注入策略的有效性——即使几何代理质量很差，外观引导仍然能从原始参考照片里独立提取高质量的纹理信息。

研究团队也诚实地指出了DIRECT的一个失败案例：如果三维重建在几何上出现了严重错误——比如把一块长方形的铭牌重建成了正方形——那么DIRECT会忠实地按照这个错误的几何形状生成结果，无法自行纠正比例上的失真。这揭示了DIRECT在严重依赖上游三维重建质量方面的根本局限：精确的姿态控制和对几何代理的严格遵从，是DIRECT的优势所在，但反过来也意味着它对三维代理质量有一定要求。

最后，研究团队还与基于内在图（intrinsic map）的合成基线TRELLIS+ZeroComp进行了对比。ZeroComp在匹配误差上表现极好（仅5.2），因为它直接把渲染好的三维资产合成进场景；但在图像保真度和身份保留上则明显落后，因为它没有机制来保留原始参考照片的外观细节。DIRECT在兼顾姿态准确性的同时，在外观保留上保持了明显优势。

**九、推理时用户是怎么操作的**

研究团队还详细介绍了用户实际使用DIRECT时的交互流程，这套流程被设计得非常直觉化。用户只需要提供一张参考物体的照片和一张目标背景照片。系统会自动把参考物体的背景去掉，然后生成三维代理模型，把它加载进一个基于Viser工具构建的交互式三维查看器里。背景照片作为静态画布显示，用户可以直接用鼠标拖动三维模型，随意平移和旋转，让它出现在自己期望的位置和角度。一旦调整满意，点击确认，系统会自动完成所有后续的渲染和生成步骤，输出最终的合成图片。用户不需要懂任何关于三维坐标或变换矩阵的知识。

关于计算开销，研究团队也给出了实测数据。在SD版本下，DIRECT的整体端到端耗时约9.5秒，略优于TRELLIS+AnyDoor的11.5秒，与Object3DIT+AnyDoor的8.6秒相当。其中三维生成阶段需要约5秒，这个时间实际上是在用户开始调整姿态之前就可以完成的，不影响交互体验。峰值显存占用约10GB，与基线方法相近。

归根结底，DIRECT解决的核心问题，是让AI终于能够理解并执行"精确的三维空间摆放"这件事。无论是家居设计师想在空间里摆放家具，还是电商商家想把产品照片合成进场景图，或者是影视后期制作人员需要精确控制道具的角度，DIRECT提供了一种前所未有的、同时兼顾精度和真实感的解决方案。

当然，这项研究目前仍然面临着上游三维重建质量的瓶颈。研究团队也在展望未来，希望探索在生成过程中实时修正三维代理几何错误的方法，进一步提升系统的鲁棒性。有兴趣深入了解技术细节的读者，可以通过arXiv论文编号2606.06601找到完整论文。

Q&A

Q1：DIRECT系统需要用户具备三维建模知识吗？

A：不需要。DIRECT提供了一个交互式三维查看器，用户只需用鼠标拖动、旋转一个自动生成的三维代理模型，就能指定物体的位置和角度，所有技术处理都由系统自动完成。

Q2：DIRECT和直接用Photoshop抠图合成有什么本质区别？

A：传统抠图合成只能把物体按原始角度粘贴进去，无法改变物体的三维朝向。DIRECT能让用户自由指定物体在三维空间里的摆放角度，同时保证合成后的光影、透视与背景自然融合，而不只是简单叠加。

Q3：如果三维重建效果不好，DIRECT的输出会受影响吗？

A：会有一定影响。DIRECT对纹理模糊的三维代理有较强的鲁棒性，能从原始参考照片中补充高质量纹理；但如果三维重建在几何形状上出现严重错误（比如比例严重失真），这种错误可能会传递到最终结果中，这是目前DIRECT的主要局限之一。