深度融合大型语言模型与扩散变换器：新一代AI图像生成技术的突破性探索

在人工智能飞速发展的今天，文本到图像的生成技术已成为大众关注的焦点。2025年5月，来自纽约大学的Bingda Tang、Boyang Zheng、Xichen Pan和Saining Xie，以及Hugging Face的Sayak Paul共同发表了一篇探索性研究论文《Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis》（探索大型语言模型与扩散变换器的深度融合用于文本到图像生成）。这篇发表在arXiv（arXiv:2505.10046v1）上的研究，并没有提出全新的方法，而是对一个重要但研究不足的设计空间进行了全面探索，为未来的多模态生成研究提供了宝贵的数据点和实用指南。

想象一下，如果我们把AI的两大"超级大脑"——擅长理解和生成文本的大型语言模型（简称LLM，像ChatGPT背后的技术）和专门生成图像的扩散变换器（简称DiT）——像两条河流一样融合在一起，会产生什么样的化学反应？这正是本研究要探索的核心问题。

传统的文本到图像生成系统通常从专门的编码器（如CLIP或T5）中提取文本表示，再将其输入到扩散模型中。随着仅解码器型大语言模型的兴起，研究人员开始探索用它们替代传统文本编码器的可能性。然而，简单地替换大语言模型往往达不到预期效果，除非辅以复杂的架构调整。这是因为大语言模型的训练目标（预测下一个词）与扩散模型中需要的判别性文本表示之间存在错位。

最近的一些研究已经成功地将自回归解码和去噪扩散统一在单一变换器中，支持包括指令型图像到文本、文本到图像合成以及交错的图像-文本生成等多种任务。虽然早期方法通常依赖于整个模型的大规模预训练，但最新研究通过层间共享自注意力机制，将大语言模型与扩散变换器进行深度融合，既保持了模态特定的计算，又实现了丰富的跨模态交互。

然而，尽管这种深度融合方法展现出良好的前景，但其真实潜力仍不确定。现有研究主要关注整体系统性能，而非与现有方法的对照比较，关键设计细节和训练方案也常常未被披露。这些限制阻碍了该方法在研究社区中的更广泛采用。

本研究团队通过对冻结的大语言模型与可训练的扩散变换器进行深度融合的实证研究，弥补了这些不足。他们进行了受控比较，检验了关键设计选择，并引入了可扩展、可复制的训练方案，在文本到图像生成的既定基准上取得了竞争性能。

一、深度融合架构：打破AI"大脑"间的壁垒

深度融合方法通过层间共享自注意力，将冻结的仅解码器型大语言模型与可训练的扩散变换器整合在一起。这种架构实现了双流变换器设计，在保持模态特定计算的同时，通过使用不同的权重集来处理不同模态的标记，实现了丰富的跨模态交互。

想象一下，这就像两个专家在协作解决问题：一个语言专家和一个图像专家。他们各自有自己的思维方式（不同的权重），但可以通过深入交流（共享自注意力）来相互理解和补充。

在这个融合模型中，文本嵌入通过大语言模型流处理，而带噪声的图像潜变量则通过扩散变换器流处理。在每一层的自注意力操作中，来自两个流的标记序列被连接起来，使扩散变换器能够从语言上下文中提取条件信息。为了保持预训练大语言模型的功能，研究团队对文本序列应用因果注意力掩码，对图像序列应用双向掩码，允许图像标记关注文本标记，但不允许反向关注。

关键的是，图像标记只需要文本隐藏状态的键和值状态。这些在扩散过程中保持不变，允许它们在推理过程中被高效缓存和重用。

在训练目标上，研究团队采用了校正流公式，通过连接样本之间的直线路径，学习标准高斯噪声分布与数据分布之间的传输映射，并通过基于时间的ODE模型学习转换噪声到期望数据分布的路径。

二、实验设置：打造公平透明的比较环境

为确保深度和浅层融合方法之间的比较完全开放和可复制，研究团队提供了全面的实验设置细节，包括模型、数据集、训练、推理和评估等方面。他们专门使用开源预训练大语言模型和公开可用的数据集。

在模型方面，所有实验（除第7节外）均使用冻结的Gemma 2B作为基础大语言模型，搭配随机初始化的2.5B参数扩散变换器。扩散变换器的变换器配置严格遵循基础大语言模型，包括隐藏大小、层数、注意力头数、前馈神经网络设计等架构细节，确保两个模型具有相同的2B参数主干。

简单来说，就像是一对双胞胎，一个精通语言（LLM），一个专攻图像（DiT），它们有着相同的"骨架"（网络架构），但各自发展了不同的"技能"。

在数据集方面，他们使用CC12M数据集和社区贡献的合成说明作为训练集。这个数据集包含1090万图像-说明对。图像被调整大小并居中裁剪至512×512，文本被填充或截断至256个标记。

训练过程中，所有模型都使用AdamW优化器，批量大小为512，在BF16混合精度下进行。他们使用1×10^-4的恒定学习率，1×10^-4的权重衰减，阈值为1.0的梯度裁剪。每100步使用0.99的衰减因子收集权重的指数移动平均值。在训练期间，10%的文本被随机丢弃以学习无条件生成。

推理时，他们使用欧拉离散化，采样步数为25，分类器自由引导尺度为6（经发现接近文本-图像对齐的最佳值）。在所有实验中，他们采用相同的采样步骤和引导尺度。

在评估方面，他们使用GenEval和DPG-Bench指标评估图像-文本对齐，优先考虑GenEval的鲁棒性。两种基准都提供有价值的见解，但DPG-Bench存在一定局限性，如性能快速饱和和潜在的测量错误。为确保全面评估，他们还提供了在MJHQ-30K上使用FID的视觉质量度量。值得注意的是，图像-文本对齐与视觉质量并不总是呈正相关，经常存在权衡。

三、深度融合与浅层融合的对比：谁能更好地理解文字并创造图像？

研究团队将深度融合方法与两种浅层融合架构进行了对比。浅层融合通过在注意力操作中进行后期融合，将单一文本编码器层的表示整合到每个扩散变换器层中，而深度融合则在整个网络中创建互连。

两种浅层融合架构的区别在于它们如何聚合条件信息：

自注意力扩散变换器将文本表示投影到键和值状态，然后在自注意力中与图像隐藏状态的键和值连接，这类似于某些先前研究提出的架构。

交叉注意力扩散变换器也将文本表示投影到键和值状态，但它们用于与图像隐藏状态的额外交叉注意力，在每一层的自注意力之后应用。

比较结果显示，深度融合模型在图像-文本对齐方面明显优于自注意力扩散变换器模型，也超过了交叉注意力扩散变换器模型，而浅层融合模型则展示出更好的视觉质量。在推理效率方面，深度融合也表现出竞争性能。

四、关键设计选择探索：优化深度融合架构

研究团队通过探索几个关键设计选择，进一步优化了深度融合方法。

首先，他们评估了时间步调节的必要性和潜在冗余性。经典的扩散变换器使用AdaLN-Zero作为标准机制来注入时间步和类标签信息，这通常占模型参数的很大比例（在本例中，2.5B总参数中的0.5B）。然而，由于文本到图像模型不使用类标签，AdaLN仅用于时间步调节，这引发了关于其必要性的问题。

研究表明，减少时间步调节中的参数数量能持续提高视觉质量，而图像-文本对齐的性能则呈现波动。令人惊讶的是，完全移除时间步调节不仅实现了显著更好的FID分数，而且保持了可比的GenEval和DPG-Bench性能。这一发现与之前的研究一致，在较小数据集上训练的校正流模型中，移除时间步调节提高了FID。此外，完全移除时间步调节还消除了相关参数的需求，导致模型参数总数减少20%。

其次，他们比较了不同的位置编码策略。研究发现，将1D RoPE应用于文本序列和2D RoPE应用于图像序列的配置实现了最佳总体性能，仅在DPGBench方面与1D-RoPE + APE变体相比略有下降。2D-RoPE优于APE的事实表明，RoPE在深度融合模型中对建模图像序列更为有效。

第三，他们探讨了基础大语言模型选择的影响。有趣的是，指令调整似乎对性能有轻微负面影响。虽然使用指令提示在一定程度上缓解了这种影响，但它仍不及基线。这一结果突显了有效利用大语言模型指令跟随能力的挑战。相比之下，多模态调整确实提供了一些性能提升，尽管幅度不大。

最令人惊讶的是，当从Gemma 2B升级到下一代Gemma 2 2B（在8个仅语言基准的平均测试中表现提高6%）时，文本到图像性能显著提升。这一发现表明，深度融合模型中扩散变换器的性能强烈依赖于底层基础大语言模型的能力。

五、规模化训练：从实验室走向实际应用

基于前述探索的见解，研究团队提出了深度融合模型的最终配方，建立在原始框架的基础上，同时整合了关键的改进：

移除AdaLN-Zero模块 将1D-RoPE + APE替换为1D + 2D-RoPE 用Gemma 2 2B替换Gemma 2B，相应调整扩散变换器配置

他们将这一模型命名为FuseDiT，在一个混合数据集上训练了80万步，该数据集包括CC12M、SA-1B和JourneyDB的训练子集，总计约2600万图像-说明对。值得注意的是，最先进的文本到图像模型通常依赖于更大规模的高质量数据集来实现卓越性能。

与最先进的文本到图像扩散模型相比，尽管FuseDiT在有限的计算资源和数据条件下以简化设置进行训练，但它超越了许多行业标准系统，并提供了具有竞争力的结果，达到了0.60的GenEval分数、81.6的DPG分数和7.54的FID分数。

六、进一步探索：突破设计边界

为了探索深度融合方法的更激进修改，研究团队进行了初步研究，主要关注两个方向：架构对齐和注意力机制。

在架构对齐方面，他们探讨了修改扩散变换器模型的隐藏大小和变换器层数的可能性。研究发现，随着隐藏大小的减小，模型性能优雅地下降，视觉质量在某些情况下实际上有所提高。而减少变换器层数也能产生可接受的结果，但性能下降更快。这些发现表明，大语言模型和扩散变换器模型设计可以有效地解耦，使不同模态能够应用不同的缩放规律和设计原则。

在注意力机制方面，他们探索了一种替代深度融合变体，该变体用交叉注意力机制替代共享自注意力。这一修改带来了微小的性能提升，但以大语言模型-扩散变换器对等性为代价，并导致推理延迟增加约12%。因此，在最终配置中，他们保留了自注意力设计。

这项关于大型语言模型与扩散变换器深度融合的研究为文本到图像合成提供了强有力的实证证据，支持这种方法相对于基线的优势。研究团队强调了关键的设计选择，识别了未解决的问题，并提供了有意义的数据点和实用指南。他们希望这项实证工作能帮助推进多模态生成，并弥合自回归解码和去噪扩散之间的差距。

简而言之，通过将语言专家（大语言模型）和图像专家（扩散变换器）的"思维"深度融合，我们可以创造出更好的AI艺术家，它们不仅能更准确地理解文本描述，还能创作出更好的图像作品。这种融合比简单地让两个专家单独工作然后组合结果要有效得多，就像一个真正理解你意图的艺术家，而不仅仅是一个按照指令机械工作的绘图员。

研究团队的工作不仅为这一领域提供了宝贵的技术洞察，也为未来的研究者铺平了道路，让我们离创造真正理解人类意图的AI图像生成系统更近了一步。