清华大学与英伟达联手突破：让AI画图像做菜一样简单高效

这项由清华大学郑凯文、陈华宇等研究者与英伟达、斯坦福大学合作完成的研究发表于2025年9月，论文编号为arXiv:2509.16117v1。有兴趣深入了解的读者可以通过该编号查询完整论文。这项研究提出了一种名为"扩散负感知微调"(DiffusionNFT)的新方法，彻底改变了AI图像生成的训练方式。

当前AI图像生成面临的最大问题就像是教一个厨师做菜，但你只能通过品尝最终的菜品来给出反馈，却无法在烹饪过程中指导每一个步骤。现有的AI图像生成模型在接受人类反馈进行改进时，就面临着这样的困境。它们需要复杂的数学计算来估算每一步操作的"好坏程度"，这个过程既耗时又不够准确，就像是蒙着眼睛做菜一样困难。

研究团队发现了一个巧妙的解决方案。他们不再试图在复杂的"烹饪过程"中给出指导，而是回到了最基础的"食材准备"阶段。在AI图像生成中，这相当于从"加噪声"的正向过程入手，而不是传统方法关注的"去噪声"反向过程。这种思路转换带来了革命性的改进：训练效率提升了25倍，同时生成的图像质量显著提高。

一、从复杂到简单：重新定义AI图像生成的训练方式

传统的AI图像生成训练就像是教一个学生通过观察老师的每一个动作来学习绘画技巧。学生需要记住老师画每一笔时的手法、力度和方向，然后试图模仿这个复杂的过程。这种方法的问题在于，学生必须同时掌握无数个细节，任何一个环节出错都可能影响最终效果。

现有的强化学习方法，比如FlowGRPO，就采用了这种复杂的训练方式。它们将图像生成过程分解为多个步骤，每一步都需要计算概率、估算奖励，就像是在解一道有几百个未知数的复杂方程。这不仅计算量巨大，还容易出现累积误差。

DiffusionNFT提出的解决方案则完全不同。它不再关注复杂的生成过程，而是专注于最终结果的对比。就像是教学生绘画时，不再逐笔指导，而是展示好作品和差作品，让学生通过对比来理解什么是好的艺术风格。这种方法的核心思想是"负感知学习"，即同时从正面和负面的例子中学习。

具体来说，研究团队将生成的图像分为两类：高质量的"正面样本"和低质量的"负面样本"。然后，他们训练AI模型朝着正面样本的方向优化，同时远离负面样本的特征。这种对比学习的方式让AI能够更清晰地理解什么是好的图像，什么是需要避免的问题。

这种方法的优势在于它的简洁性和有效性。传统方法需要存储整个生成过程的轨迹数据，就像是记录一个画家从空白画布到完成作品的每一笔。而DiffusionNFT只需要保存最终的图像结果，大大减少了存储和计算需求。

二、技术创新：从反向工程到正向优化

要理解DiffusionNFT的技术创新，我们可以用修复古董的比喻来说明。传统的扩散模型训练就像是学习如何将一件破损的古董逐步修复到完美状态。这个过程需要掌握每一个修复步骤的技巧，从清理污垢到填补裂缝，再到最终的抛光。每一步都需要精确的判断和操作。

而DiffusionNFT采用的是完全相反的思路。它不是学习如何修复破损的古董，而是学习如何从完美的古董开始，理解它是如何"变旧"的过程。通过掌握这个"老化"过程，AI反而能更好地理解什么样的状态是理想的。

在技术层面，这种方法被称为"正向过程强化学习"。传统方法关注的是从噪声图像逐步去除噪声得到清晰图像的过程，而DiffusionNFT关注的是从清晰图像逐步添加噪声的过程。这个看似简单的转换带来了多个重要优势。

首先是"求解器灵活性"。传统方法就像是只能使用特定品牌的工具来完成工作，而DiffusionNFT可以使用任何"工具"（求解器）来生成图像。这意味着它可以利用最新、最高效的图像生成算法，而不受训练方法的限制。

其次是"前向一致性"。传统方法在训练过程中可能会破坏原有的数学结构，就像是在修理机器时不小心损坏了其他部件。而DiffusionNFT保持了扩散模型的基本数学原理不变，确保训练后的模型仍然具有良好的理论基础。

第三是"无需似然估计"。传统方法需要计算复杂的概率值，就像是需要精确计算每种食材在菜品中的比例。而DiffusionNFT完全绕过了这个计算难题，直接通过结果对比来进行学习。

三、实验验证：显著的性能提升

研究团队在多个标准测试中验证了DiffusionNFT的效果，结果令人印象深刻。他们使用了SD3.5-Medium模型作为基础，这是一个拥有25亿参数的大型图像生成模型。

在GenEval测试中，这是一个专门评估AI能否根据复杂描述生成准确图像的标准。传统的FlowGRPO方法需要超过5000个训练步骤才能达到0.95分（满分1.0），而DiffusionNFT仅用1000个步骤就达到了0.98分。这相当于在同样的时间内，DiffusionNFT的学习效率比传统方法高出25倍。

更令人惊讶的是，DiffusionNFT在训练过程中完全不使用分类器自由引导（CFG）技术。CFG就像是给AI配备了一个"质量检查员"，在生成图像时进行实时指导。传统方法严重依赖这个"检查员"来保证图像质量，但DiffusionNFT证明了通过更好的训练方法，AI可以内化这种质量控制能力，不再需要外部指导。

在文字渲染任务（OCR）中，DiffusionNFT展现出了24倍的效率提升。这个任务要求AI生成包含清晰可读文字的图像，这对传统方法来说是一个巨大挑战。研究团队发现，DiffusionNFT不仅学习速度更快，生成的文字也更加清晰准确。

在图像质量评估（PickScore）和人类偏好匹配（HPSv2.1）等多个维度的测试中，DiffusionNFT都表现出了3到8倍的效率优势。这些测试涵盖了图像的美学质量、与文字描述的匹配度、以及是否符合人类审美偏好等多个方面。

四、多奖励联合训练：全面提升图像生成能力

DiffusionNFT的另一个重要创新是能够同时优化多个不同的目标。这就像是训练一个全能运动员，不仅要跑得快，还要跳得高，同时保持良好的体态。传统方法通常只能专注于单一目标的优化，而DiffusionNFT可以同时处理多个评价标准。

研究团队设计了一个多阶段的训练方案。首先，他们使用Pick-a-Pic数据集训练模型的基础图像质量，这个阶段主要关注图像的整体美感和技术质量。接着，他们加入了GenEval数据集，训练模型理解复杂的文字描述并生成相应图像的能力。最后，他们使用OCR数据集训练模型生成包含清晰文字的图像。

这种分阶段训练就像是学习一门复杂技能的过程。首先掌握基础技巧，然后学习应用这些技巧解决具体问题，最后训练处理特殊情况的能力。每个阶段都建立在前一阶段的基础上，形成了一个完整的能力体系。

令人惊讶的是，经过这种多目标训练的模型不仅在训练目标上表现优秀，在其他未见过的评估标准上也展现出了卓越性能。例如，虽然模型没有专门针对美学评分进行训练，但它在Aesthetic评估中的得分从原来的5.13提升到了6.01。这说明DiffusionNFT学到的不仅仅是特定任务的技巧，而是对图像质量的深层理解。

在ImageReward和UnifiedReward等综合评估中，DiffusionNFT训练的模型甚至超越了更大规模的模型，如SD3.5-Large（80亿参数）和FLUX.1-Dev（120亿参数）。这证明了优秀的训练方法比单纯增加模型规模更为重要。

五、技术细节：巧妙的设计选择

DiffusionNFT的成功不仅来自于核心思想的创新，还体现在许多巧妙的技术细节上。这些细节就像是烹饪中的调味技巧，看似微小但对最终效果至关重要。

在奖励信号的处理上，研究团队采用了一种"软更新"策略。传统方法就像是严格的老师，每次都要求学生完全按照最新的标准来学习。而DiffusionNFT更像是耐心的导师，允许学生逐步适应新的要求。具体来说，它不会在每次训练后完全替换旧的策略，而是将新旧策略进行加权平均，让模型有一个平滑的学习过程。

这种软更新的好处在于避免了训练过程中的剧烈波动。就像是调节音响的音量，如果突然从最小调到最大，会产生刺耳的噪音。而逐步调节则能获得平滑悦耳的效果。研究团队发现，完全的"硬更新"虽然在初期学习速度较快，但容易导致训练不稳定甚至崩溃。而过于保守的更新策略则会让学习过程变得异常缓慢。

在时间权重的处理上，DiffusionNFT采用了自适应加权方案。传统方法使用固定的权重分配，就像是用同样的力度处理所有工作。而DiffusionNFT会根据实际情况动态调整权重，在需要精细处理的地方投入更多注意力，在相对简单的地方减少计算资源。

研究团队还发现，负面样本的学习对于DiffusionNFT的成功至关重要。如果只使用正面样本进行训练，就像是只告诉学生什么是对的，但不告诉他们什么是错的。这种单向学习很容易导致模型过度拟合，在面对新情况时表现不佳。而同时使用正面和负面样本，让模型能够建立更完整的判断标准。

六、实际应用与影响

DiffusionNFT的成功不仅仅是学术研究的突破，更重要的是它为实际应用带来的巨大潜力。这种高效的训练方法意味着更多的组织和个人能够负担得起高质量AI图像生成模型的训练和部署。

在内容创作领域，DiffusionNFT可以帮助设计师、艺术家和营销人员更快速地生成符合特定要求的图像。传统方法需要大量的计算资源和时间来训练一个专门的模型，而DiffusionNFT可以在相对较短的时间内完成这个过程。这就像是从手工制作转向了自动化生产，大大提高了创作效率。

在教育和科研领域，DiffusionNFT的高效性使得更多研究机构能够进行相关实验和研究。以前只有拥有大量计算资源的大型科技公司才能负担得起的研究，现在中小型研究团队也可以参与其中。这种技术的民主化将促进整个领域的快速发展。

对于商业应用来说，DiffusionNFT的CFG-free特性特别有价值。传统的图像生成模型在部署时需要运行两个并行的模型来实现分类器自由引导，这不仅增加了计算成本，还复杂化了部署过程。而DiffusionNFT训练出的模型可以独立运行，大大简化了部署流程，降低了运营成本。

在个性化内容生成方面，DiffusionNFT的多奖励联合训练能力使得单个模型可以同时满足多种不同的需求。这就像是培养了一个多才多艺的助手，既能处理文字渲染任务，又能生成高质量的艺术作品，还能理解复杂的场景描述。

七、局限性与未来发展

尽管DiffusionNFT展现出了显著的优势，但研究团队也诚实地指出了当前方法的一些局限性。这种科学的态度体现了严谨的研究精神。

首先，DiffusionNFT对负面样本的依赖性较强。如果训练数据中缺乏足够的负面样本，或者负面样本的质量不够代表性，模型的学习效果可能会受到影响。这就像是学习辨别真假古董，如果只见过粗制滥造的假货，可能无法识别高仿品。

其次，虽然DiffusionNFT在多个标准测试中表现优异，但这些测试主要集中在英文内容和西方文化背景的图像上。对于其他语言和文化背景的适应性还需要进一步验证。这反映了当前AI研究中普遍存在的文化多样性挑战。

在计算资源方面，虽然DiffusionNFT比传统方法更高效，但对于个人用户来说，训练一个高质量的图像生成模型仍然需要相当的计算能力。这种门槛限制了技术的普及程度。

研究团队提出了几个有前景的未来发展方向。首先是探索更加智能的负面样本生成策略，让AI能够自动识别和生成有价值的负面训练样本。其次是研究如何将DiffusionNFT的思想应用到其他类型的生成模型中，如视频生成、音频生成等。

另一个重要方向是提高训练的稳定性和鲁棒性。虽然当前的软更新策略已经大大改善了训练稳定性，但在面对极端情况或者特殊数据分布时，仍然可能出现不稳定现象。

八、对AI发展的深远意义

DiffusionNFT的成功不仅仅是图像生成领域的进步，它代表了AI训练方法论的一个重要转变。这种从复杂到简单、从间接到直接的思路转换，为其他AI领域的发展提供了有价值的启示。

在强化学习领域，DiffusionNFT展示了如何将传统的策略梯度方法转换为更简单的监督学习问题。这种转换不仅提高了效率，还增强了训练的稳定性。类似的思路可能在自然语言处理、机器人控制等其他领域也有应用潜力。

从更宏观的角度来看，DiffusionNFT体现了AI研究中"少即是多"的哲学。通过简化训练过程、减少依赖关系，反而获得了更好的性能。这提醒我们，在追求复杂性和先进性的同时，不应忽视简洁性和实用性的价值。

这项研究也突出了跨机构合作的重要性。清华大学的理论基础、英伟达的工程实践经验、斯坦福大学的创新思维，三者的结合产生了超越单一机构能力的研究成果。这种合作模式可能成为未来AI研究的重要趋势。

对于整个AI行业来说，DiffusionNFT的成功意味着高质量图像生成技术的门槛将进一步降低。这不仅会促进相关应用的普及，还可能催生新的商业模式和创新应用。从长远来看，这种技术进步将推动整个数字内容创作行业的变革。

说到底，DiffusionNFT的真正价值不仅在于它解决了一个技术问题，更在于它展示了一种新的思考方式。当面对复杂问题时，有时候最好的解决方案不是增加更多的复杂性，而是找到问题的本质，用更简单直接的方法来解决。这种思维方式的转变，可能会在未来的AI研究中发挥更大的作用。

研究团队的工作证明了，在AI快速发展的今天，创新不仅来自于更大的模型、更多的数据，也来自于更聪明的方法和更深刻的洞察。DiffusionNFT为我们展示了一条通往更高效、更实用AI系统的道路，这条道路值得更多研究者去探索和发展。

Q&A

Q1：DiffusionNFT相比传统方法有什么优势？

A：DiffusionNFT最大的优势是效率提升，比传统的FlowGRPO方法快25倍。它不需要复杂的概率计算，可以使用任何图像生成器，而且不依赖分类器自由引导技术，训练过程更简单稳定。同时它能同时优化多个目标，让一个模型具备多种能力。

Q2：为什么DiffusionNFT要从正向过程而不是反向过程进行训练？

A：传统方法关注从噪声图像去除噪声的反向过程，就像学习如何修复破损古董的每一步。而DiffusionNFT关注从清晰图像添加噪声的正向过程，就像理解古董是如何变旧的。这种转换让训练变得更简单，不需要存储复杂的生成轨迹，只需要对比最终结果的好坏。

Q3：普通用户能使用DiffusionNFT技术吗？

A：目前DiffusionNFT主要是研究阶段的技术突破，普通用户还无法直接使用。但这项技术的高效性意味着未来会有更多公司能够负担得起部署高质量图像生成服务，最终会让普通用户受益，获得更快速、更高质量的AI图像生成体验。