南京大学团队突破AI绘画速度瓶颈：让复杂算法学会"简化思考"

这项由南京大学人工智能学院的傅明昊和阿里巴巴国际数字商业集团的王国华等研究人员共同完成的研究发表于2025年7月，论文题为"TeEFusion: Blending Text Embeddings to Distill Classifier-Free Guidance"。有兴趣深入了解的读者可以通过论文代码库github.com/AIDC-AI/TeEFusion访问完整的研究成果。

当下最先进的AI绘画系统就像一位极其挑剔的艺术家，为了创作出一幅完美的画作，它需要反复思考、不断修正。具体来说，这些系统会同时考虑两个问题：一是"这幅画应该包含什么内容"（根据你给出的文字描述），二是"这幅画不应该包含什么内容"（避免生成无关或低质量的内容）。通过对比这两种思考结果，系统最终能够生成高质量的图像。

然而，这种"双重思考"机制虽然效果出众，却带来了一个严重问题：计算速度极其缓慢。每生成一幅图像，系统都需要进行两次完整的计算过程，这就像一个人每做一个决定都要在心里反复权衡两遍一样费时费力。更糟糕的是，当使用更复杂的优化算法时，这种重复计算的负担会进一步加重，导致生成一幅图像的时间成本高得令人难以接受。

为了解决这个问题，研究团队提出了一种名为TeEFusion（文本嵌入融合）的创新方法。这种方法的核心思想非常巧妙：既然"双重思考"的本质是将两种不同的信息进行对比和融合，那么为什么不在更早的阶段就完成这种融合呢？就像一个经验丰富的厨师能够凭直觉调配出完美的调料比例，而不需要每次都分别尝试每种调料的味道一样。

TeEFusion的工作原理可以用一个简单的比喻来理解。传统方法就像两个翻译员分别翻译同一段文字的正面含义和反面含义，然后将两个翻译结果进行对比整合。而TeEFusion则相当于训练出一个"超级翻译员"，它能够直接理解文字的完整含义，包括正面和反面的信息，从而一次性给出最佳的翻译结果。

这种方法的技术实现非常优雅。研究团队发现，在文本编码的数学空间中，可以通过简单的线性运算来融合不同类型的语义信息。他们通过实验验证了这样一个有趣的现象：当你将描述某个概念的文本编码与描述相关概念的文本编码进行数学运算时，得到的结果能够准确表达这两个概念的组合语义。这就像在颜料调色盘上，红色颜料加上蓝色颜料能够自然地产生紫色一样直观。

基于这个发现，TeEFusion将传统方法中后期的信息融合过程前移到了文本编码阶段。系统不再需要分别处理条件信息和无条件信息，而是直接处理融合后的综合信息。这种设计不仅大大减少了计算量，还保持了原有的图像生成质量。

更令人印象深刻的是，TeEFusion能够从使用复杂采样策略的"教师模型"中学习经验。这个过程类似于一个年轻厨师通过观察资深大厨的烹饪过程，学会了如何用更简单的方法做出同样美味的菜肴。教师模型虽然烹饪过程复杂，但最终的成品质量极高。学生模型通过学习这些高质量的"成品"，掌握了用简化流程制作类似水准菜肴的技巧。

研究团队在多个权威数据集上进行了全面的实验验证。他们测试了两个大型的文本生成图像模型：公开可用的SD3模型（拥有20亿参数）和他们自主开发的专门针对电商场景优化的In-house T2I模型（拥有10亿参数）。实验结果显示，TeEFusion在保持图像质量基本不变的前提下，将推理速度提升了6倍。

在美学质量评估中，TeEFusion表现尤为出色。研究团队使用了HPS（人类偏好评分）这一广泛认可的评估标准，该标准涵盖了动漫、概念艺术、绘画和摄影四个不同风格类别，每个类别包含800个测试提示词。结果显示，TeEFusion不仅在所有类别中都超越了基线方法，甚至在某些情况下超越了使用复杂采样策略的教师模型。

在物体构图能力测试中，研究团队使用了DPG-Bench基准，该基准包含1065个描述多个物体及其相互关系的复杂提示词。TeEFusion在实体识别、属性匹配、空间关系理解等多个维度都展现出了优异的性能，证明了它不仅能够快速生成图像，还能准确理解和表达复杂的视觉概念。

特别值得一提的是，TeEFusion在处理不同引导强度时表现出了良好的稳定性和灵活性。引导强度可以理解为系统对文本描述的"重视程度"——数值越高，生成的图像就越严格地遵循文本描述。传统方法在高引导强度下容易出现图像质量下降或者生成失败的问题，而TeEFusion能够在广泛的引导强度范围内保持稳定的性能。

从实用角度来看，TeEFusion的优势非常明显。对于需要大量图像生成的应用场景，比如电商平台的商品展示、游戏开发中的素材制作、或者创意设计工作，6倍的速度提升意味着成本的大幅降低和效率的显著提高。以往需要数小时才能完成的批量图像生成任务，现在可能只需要几十分钟就能完成。

研究团队还进行了深入的消融实验，验证了方法中每个组件的贡献。他们发现，文本嵌入融合的核心思想确实是性能提升的关键因素。同时，他们还测试了从不同复杂度教师模型学习的效果，结果表明TeEFusion能够有效地从任何高质量的教师模型中学习，这为未来的扩展应用提供了广阔的空间。

在训练效率方面，TeEFusion也展现出了令人满意的表现。整个蒸馏训练过程在16块A100 GPU上仅需4小时就能完成，这相比其他复杂的蒸馏方法来说是一个巨大的优势。快速的训练过程不仅降低了研究成本，也使得这种方法更容易被其他研究团队采用和改进。

当然，TeEFusion也存在一些限制。研究团队诚实地指出，该方法在处理某些语义上相互矛盾的描述时可能会出现困难，比如"冷火"或"不是猫"这样的描述。这是因为文本嵌入融合依赖于语义向量的线性组合，而矛盾概念的向量可能无法通过简单的线性运算得到合理的融合结果。

此外，虽然TeEFusion在大多数情况下能够很好地保持图像质量，但在某些特定场景下，生成的图像可能与教师模型的输出存在细微差别。这种差别通常不会影响图像的整体质量和可用性，但对于要求极度精确的应用场景来说，可能需要进一步的优化。

从技术发展的角度来看，TeEFusion代表了AI图像生成领域的一个重要进步方向。它不是通过增加模型复杂度或计算资源来提升性能，而是通过更智能的方法设计来实现效率和质量的双重优化。这种思路对整个人工智能领域都具有启发意义：有时候，解决问题的最佳方案不是"做得更多"，而是"做得更聪明"。

研究团队已经将TeEFusion的代码和预训练模型开放给学术界和工业界使用，这将有助于推动相关技术的进一步发展。可以预见，基于这项工作的改进和扩展研究将会陆续出现，进一步推动AI图像生成技术的实用化进程。

说到底，TeEFusion解决的是一个非常实际的问题：如何让AI绘画系统既能保持高质量，又能提高生成速度。通过巧妙的算法设计，研究团队找到了一个优雅的解决方案。这项工作不仅在技术上具有创新性，在实用性方面也有着广阔的应用前景。对于普通用户而言，这意味着未来的AI绘画工具将会更加快速和便捷。对于开发者和研究人员来说，这提供了一个新的思路来平衡AI系统的性能和效率。

Q&A

Q1：TeEFusion具体是什么？它是如何工作的？ A：TeEFusion是一种让AI绘画系统变快的新方法。传统AI绘画需要"双重思考"——同时考虑要画什么和不要画什么，然后对比两个结果。TeEFusion则像训练一个"超级翻译员"，能直接理解文字的完整含义，一次性给出最佳结果，从而将速度提升6倍。

Q2：这种方法会不会影响AI绘画的质量？ A：研究结果显示基本不会。在多项测试中，TeEFusion生成的图像质量与传统复杂方法基本相当，在某些评估标准上甚至略有提升。这就像一个经验丰富的厨师用简化流程做出同样美味的菜肴一样。

Q3：普通用户什么时候能用上这种技术？ A：研究团队已经开源了代码，技术公司可以直接采用。这意味着未来的AI绘画应用将会更快、更便宜。对于需要大量图像生成的场景，比如电商、游戏开发等，这种6倍的速度提升将带来显著的成本节约。