西湖大学等机构研究：用模型自身来"审判"自身，让AI画图只需一步就达到顶级质量

这项由西湖大学、浙江大学、上海创新研究院和北京大学联合开展的研究，以预印本形式于2026年4月发布，论文编号为arXiv:2604.12322。感兴趣的读者可以通过这个编号在arXiv平台上找到完整论文。

**图像生成这件事，究竟卡在哪里？**

当你让一个AI画画时，它做的事情其实有点像厨师煮一锅汤：先把所有材料（一张噪声图）放进锅里，然后一步一步慢慢调整，去掉不对的味道，加进对的材料，经过几十次乃至上百次的搅拌之后，才端上来一碗像样的汤。这个"搅拌过程"在技术上叫做"多步推理"，通常需要模型运算五十到两百五十次才能生成一张高质量的图。

这带来了一个显而易见的问题：太慢了。如果每次出图都要等几十秒甚至更长时间，那对于追求效率的实际应用来说，代价相当高昂。于是，研究者们一直在思考一个终极问题：能不能只搅拌一次，就让这碗汤变得色香味俱全？

这个目标听上去简单，实现起来却极为困难。研究者们把这个困境概括为"三难困境"——生成质量、推理速度和训练效率，这三者就像一个三角形的三个顶点，当你努力靠近其中一个顶点时，另外两个就会悄悄地离你远去。

目前主流的应对方案大致分为两类。一类是引入外部"评委"——也就是一个专门打分的神经网络，叫做判别器（discriminator）。这位评委会告诉模型："你这次画的不够好，再改改。"通过这种对抗训练，模型的单步生成质量可以大幅提升。然而，这位外部评委本身就是一个庞大的神经网络，他会带来训练不稳定、显存消耗高、收敛缓慢等一系列头疼问题，对于动辄几十亿参数的大型模型来说，这些代价尤其沉重。另一类方案是回归（regression）训练，直接让模型往正确答案靠拢，训练起来相对稳定，但单步生成时往往丢失高频细节，画面显得模糊或平滑，精细感不足。

西湖大学等机构的研究团队提出了一个全新的路线：既然外部评委带来了那么多麻烦，何不让模型自己来评判自己？这就是APEX方法的核心出发点。

---

**一、"自我对抗"这个概念是怎么冒出来的**

在正式理解APEX之前，有必要先明白什么叫"对抗训练"，以及它为什么有效。

对抗训练的思路来自一个非常优雅的博弈设计：一位画家负责作画，一位鉴定家负责鉴别真伪。画家努力画出以假乱真的作品，鉴定家努力识别哪些是赝品。两者在竞争中共同进步，最终画家的作品变得越来越接近真品。这就是所谓的生成对抗网络（GAN）。

然而，这个设计的代价在于：你需要同时维护和训练这两位"高手"。鉴定家（判别器）本身就需要大量的参数和计算资源，而且它和画家之间的博弈很容易失衡——鉴定家太强，画家无法学习；鉴定家太弱，画家的提升也受限。这种动态平衡极难把握，稍有不慎就会导致训练崩溃。

与此同时，也有一些研究者在探索"不依赖外部评委"的方案。比如一个叫做TwinFlow的方法，它把时间轴向负数方向延伸，让模型在负时间段上学习"当前自己画出的差图"是什么样子，在正时间段上学习"真实数据"是什么样子，通过比较两者来产生类似对抗训练的效果。这个方向是对的，但TwinFlow需要修改模型对时间的处理方式，改变时间嵌入和位置编码，这使得它很难直接套用到现成的大型预训练模型上，更难与轻量化的LoRA微调方式兼容。

APEX的研究团队意识到：产生对抗信号的关键，不一定非要从时间维度入手。只要能让模型对"真实数据方向"和"当前生成方向"建立两个独立的速度估计，就能得到对抗所需的梯度信号。那么，还有什么维度可以利用？答案是：条件（condition）空间。

---

**二、条件偏移：让一把钥匙开两把锁**

理解APEX的核心机制，可以借助一个日常类比。

假设你是一位调音师，手里有一套乐器，要让它演奏出最接近原版的音乐。训练过程中，你会听原版音乐（真实数据），对比你的乐器当前的演奏效果，然后调整。这里的问题是：你怎么知道你的乐器"现在的状态"，即它当前可能产生什么样的"错误版本"？

APEX的方案是这样的：你对这套乐器输入一个"故意扭曲的乐谱"，让它演奏出一个与原版截然不同的版本。这个"扭曲的版本"就代表了模型当前的生成分布——因为你没有用真实的乐谱（条件），而是用了一个经过刻意变换的假乐谱（偏移条件）。通过对比这个"扭曲版本"和真实版本之间的差异，就能得到一个类似对抗训练的修正信号，而这一切都在同一个模型内部完成，不需要任何外部评委。

具体来说，APEX引入了一个叫做"偏移条件"的概念，记为 c_fake，它通过一个仿射变换从原始条件 c 得到：c_fake = A·c + b。其中 A 和 b 可以是可学习的参数，也可以是预先设定的变换。论文的消融实验表明，当 A = -aI（即负向缩放，a 为正数）时，效果最好，尤其是 a 取 -1.0 或 -0.5 时最为稳健。负向缩放的直觉在于：它近似地反转了条件嵌入的语义方向，使得模型在偏移条件下的内部表示与真实条件下的内部表示最大程度地解耦——两者越独立，偏移条件下得到的速度估计就越能真正反映"当前的生成分布"，而不是简单地复述真实数据。

这个设计有一个极为重要的优势：它完全不触碰模型的时间处理逻辑。原始模型如何感知时间步长、如何编码位置，完全保持不变。这意味着APEX可以无缝地插入任何现有的流匹配模型，就像给已有的调音台增加一个新的拨盘，而不需要重新设计调音台本身。这种特性使得APEX天然地与LoRA（低秩自适应，一种只训练少量参数的轻量化微调方式）兼容，极大降低了在大型预训练模型上应用的成本。

---

**三、三步构建：从偏移条件到可训练的损失函数**

APEX的训练过程分为三个逻辑上环环相扣的步骤，像搭建一座桥梁，每一步都为下一步打基础。

第一步是"建立假参考"。在给定一张带噪声的图像 x_t（时刻 t 的状态）时，模型在真实条件 c 下会产生一个预测，这个预测指向的"估计干净图像"叫做 x_fake。这个 x_fake 不等于真实图像 x，它反映了模型当前的生成误差。然后，模型被要求在偏移条件 c_fake 下，学习重建这个 x_fake 对应的轨迹。这个训练目标叫做"假流损失"（L_fake）。当这个损失被最小化时，模型在偏移条件下的速度输出 v_fake 就成为了当前生成分布 p_fake 的独立速度估计器——它知道"现在画出来的图大概长什么样"。

注意这里有一个关键的技术细节：在计算假流损失时，x_fake 对模型参数是有梯度的（因为 x_fake 是由模型当前状态推导出来的），这意味着 L_fake 不仅在训练偏移条件分支，同时也在向真实条件分支注入了一个直接的对抗梯度。两个效果在一次前向传播和反向传播中同时实现。

第二步是"把速度差转化为KL散度下降方向"。这一步需要一点数学直觉，但可以用一个更直白的方式理解：研究团队证明了，真实条件下的速度 v_theta 和偏移条件下的速度 v_fake 之间的差值，恰好就是"让模型生成分布更接近真实数据分布"这个目标的梯度方向。简单说，如果 v_fake 编码了"当前模型大概在哪里"的信息，而 v_theta 是模型当前的实际输出，那么让这两者相互靠拢，就相当于在推动模型往真实数据方向移动。这个速度差被称为"APEX速度修正信号"（ΔvAPEX）。

然后，研究团队还证明了速度空间的优化和端点空间（即直接预测干净图像）的优化在数学上是完全等价的，只差一个缩放因子 t?。这个等价性很重要，因为它允许将目标写成更直观的形式：预测出来的干净图像，应该既接近真实的 x（由监督分支驱动），又接近由 v_fake 推导出的假干净图像（由对抗修正分支驱动）。两者的权重由参数 λ 控制，λ=0 时退化为普通流匹配训练，λ=1 时变为纯对抗一致性训练，中间值则混合两种信号。

第三步是揭示"GAN对齐梯度结构"。通过得分-速度对偶性（Score-Velocity Duality），可以把速度空间的差异转化为得分空间的差异，进而发现APEX的梯度更新与标准GAN的梯度具有相同的数学形式：它们都是"模型当前得分"与"目标得分"之差，乘以对模型参数的偏导数，然后取期望。两者的唯一区别在于权重：GAN使用依赖样本的判别器置信度作为权重（当样本足够真实时权重趋近于零，导致梯度消失；当样本极差时权重爆炸，导致训练不稳定），而APEX使用常数权重 w≡1。这个均匀权重直接对应了Fisher散度的最小化，在数学上保证了梯度信号的稳定性，与样本的当前质量无关。

---

**四、完整的训练目标是什么样的**

把以上三步整合在一起，APEX的完整训练目标是两个损失的加权组合：LAPEX = λp · L_fake + λe · L_mix。其中 L_fake 是假流拟合损失，确保偏移条件分支真正学会追踪当前生成分布；L_mix 是混合一致性损失，通过 v_fake 作为修正参考，将生成分布往真实数据方向推进。

λp 和 λe 是两个外部权重参数，控制这两个损失的相对重要性。论文的消融实验发现，λp:λe = 1:1 的等权设定效果最佳，而完全去掉任何一个分支都会导致性能下降：只有 L_fake 时，模型只学会追踪自己的错误但没有被推向更好的方向；只有 L_mix 时，缺少对假分布的独立估计，修正信号退化为自我回归，无法提供真正的对抗信号。

---

**五、实验结果：0.6B参数的小模型赢过了20倍大的对手**

有了完整的理论框架，研究团队进行了大量实验验证。他们在三种规模的模型上测试了APEX：0.6B参数的小模型和1.6B参数的中型模型使用完整参数训练，20B参数的大型模型（基于Qwen-Image）使用LoRA轻量化微调。

评估指标以GenEval总体得分为主，这是一个衡量文本到图像对齐质量的标准测试集，同时也报告了FID（图像质量分数，越低越好）和CLIP分数（文图匹配程度，越高越好）。

在只使用一步生成（NFE=1）的情况下，APEX 0.6B达到了0.84的GenEval得分，而FLUX-Schnell（一个拥有12B参数、是APEX小模型20倍大小的模型）只有0.69。这意味着，通过更聪明的训练方法，一个小得多的模型反而超越了以硬件堆出来的更大模型。在延迟方面，APEX 0.6B的单张图像生成只需0.20秒，吞吐量高达每秒7.3张图。

对于20B的LoRA微调版本，效果更加显著。在LoRA rank=64的设定下，APEX达到了GenEval 0.89的得分，而且仅需6小时的LoRA训练（2000步，批次大小64），就超越了原始Qwen-Image 50步推理的0.87分。换句话说，APEX不仅让推理加速了15.33倍，还在质量上超过了不使用蒸馏的原始多步模型。

在两步生成（NFE=2）的条件下，APEX 1.6B达到0.85 GenEval，比同等规模的最强基准Sana-Sprint 1.6B（0.77分）高出了将近8个百分点，同时延迟更短。20B LoRA版本在两步下维持了0.89的GenEval，延迟仅增加到0.47秒。

在DPGBench测试上，APEX 20B LoRA（rank=32）取得了86.17分的综合得分，优于TwinFlow（86.52，但参数规模相当）以及多个更大或更复杂的基准。在WISE（一个考察世界知识理解的评测）上，APEX 20B全参数版本达到了0.54的综合分，与TwinFlow持平，并在部分子类别上超过了BAGEL等更大模型。

---

**六、消融实验：每个设计选择都有理由**

为了确认每个设计选择的必要性，研究团队进行了系统性的消融实验。

关于损失权重的平衡，前面已经提到 λp:λe = 1:1 最优。额外的数据显示，稍微强调混合一致性损失（1:1.5附近）也还不错，但过度强调对抗修正（如1:2）会轻微损害路径可积性，导致多步推理时质量下滑。

关于条件偏移的超参数，研究团队系统测试了不同 a 和 b 取值的组合。负向缩放（a=-1.0或-0.5）搭配小正偏置（b在0.1到1.0之间）效果最优，与理论分析一致：负向缩放最大化了两个分支之间的表示解耦，让 v_fake 真正独立于 v_theta。正向缩放（a=0.5）的效果普遍较差，除非搭配很大的偏置（b=10.0）来人为制造解耦，但这种方式不够自然也不够稳健。

关于训练数据的选择，研究团队对比了ShareGPT-4o和BLIP-3o两个数据集。对于0.6B和1.6B模型，BLIP-3o在大步数训练后表现更好（10K步时分别达到0.81和0.83 vs. 0.73）。对于20B LoRA模型，BLIP-3o在仅1K步时就达到0.84，而ShareGPT-4o即使在2K步时也只有0.62。这表明数据质量对LoRA微调效果有显著影响，高质量合成数据能大幅加速收敛。

---

**七、与现有方法的比较：为何APEX能同时做到稳定、高效、兼容**

要理解APEX的独特价值，需要把它与几个相近方案做更细致的对比。

与标准GAN蒸馏方法（如DMD/DMD2）相比，APEX不需要维护独立的判别器网络，节省了相当大的显存开销，也避免了判别器与生成器训练之间的动态平衡问题。同时，APEX也不需要预先计算好的"教师-学生样本对"数据集——在大型模型上生成这类数据集的成本可能比训练本身还高。

与TwinFlow相比，两者都属于自对抗方法，思路上有共同之处，但分离"真实"与"虚假"信号的维度不同。TwinFlow用时间符号（正 t vs. 负 t）来区分两个分支，这要求修改时间嵌入，对预训练模型不友好。APEX用条件空间来区分，时间处理完全不变，因此可以即插即用地应用于任何现有的流匹配模型，LoRA兼容性是TwinFlow难以匹配的优势。

与一致性模型（Consistency Models）和MeanFlow等方法相比，APEX增加了显式的对抗修正信号，使得单步生成的细节质量更高；而这些方法在单步下往往缺乏这种"把模型推向真实数据流形"的绝对锚定力量。

---

说到底，APEX解决的核心问题是一个"既要、又要、还要"的工程难题：既要图片质量好，又要生成速度快，还要训练过程简单稳定，顺带兼容现有工具链。以往大家默认这三者不可兼得，只能在其中做取舍。而APEX的贡献在于找到了一条新路径——不借助外部评委，不修改时间逻辑，仅仅通过在条件空间里做一个仿射变换，就从模型内部"提取"出了原本只有GAN才能提供的对抗修正信号。

这对于AI图像生成的实际应用意味着什么？一个显而易见的改变是：原来需要几十步才能生成一张好图的大型模型，可以在几个小时内通过轻量化微调获得单步生成的能力，而质量不降反升。对于想要部署实时图像生成服务的产品团队来说，这既降低了推理成本，也降低了训练成本，同时不需要重新设计整个模型架构。

当然，这项研究也有一些值得继续探索的问题。论文中展示的最优超参数（如a=-0.5，b=0.1）虽然有理论支撑，但在不同架构和不同任务上是否仍然最优，还需要更广泛的验证。偏移条件的设计目前以负向缩放为主，未来是否有更精妙的变换方式能进一步提升解耦效果，也是值得研究的方向。此外，论文的实验主要集中在文本到图像的任务上，APEX是否能同样有效地应用于视频生成或其他模态，还有待验证。

有兴趣深入了解数学细节的读者，可以通过arXiv:2604.12322查阅完整论文，其中包含了Score-Velocity Duality的完整证明、KL梯度推导、端点-速度等价性证明以及Fisher散度解释的详细数学推导。

---

Q&A

Q1：APEX方法训练时需要两个独立的模型吗？

A：不需要。APEX只使用一个模型，通过在条件空间输入偏移后的假条件c_fake，让同一个模型产生两条不同的推理路径——真实条件分支和偏移条件分支。偏移条件分支的输出v_fake作为修正参考，在计算混合一致性损失时通过stop gradient断开梯度，防止形成自我回归循环。整个训练过程不需要维护任何外部判别器或教师模型，显存占用与标准流匹配训练相当。

Q2：APEX的推理速度比普通多步扩散模型快多少？

A：根据论文报告，APEX 20B LoRA版本在NFE=1（单步生成）时的推理延迟为0.39秒，而原始Qwen-Image 20B需要50步推理，延迟约为6秒，推理速度提升了约15.33倍。在吞吐量方面，APEX 0.6B版本在单步下达到每秒7.3张图（批次大小为1），远高于FLUX-Schnell（每秒1.58张图）等多步基准模型。

Q3：LoRA微调APEX需要多少算力和时间？

A：根据论文实验设置，在20B参数的Qwen-Image模型上使用LoRA（rank=64，可训练参数约0.4B）进行APEX蒸馏，使用16块NVIDIA H800 80GB显卡，训练约2000步（全局批次大小64），总耗时约6小时。训练完成后的模型在GenEval基准上达到0.89分，超越了原始50步推理的0.87分。低rank（r=32，可训练参数约0.2B）版本同样可以在类似时间内达到0.88分，训练成本进一步降低。