AI画画总在细节上翻车，PreviewDiff让它边画边改

你有没有遇到过这种情况：让AI画一张"五只兔子和一只羊"，结果它给你画了三只兔子两只羊，或者干脆把羊也画成了兔子的样子？又或者让它生成一个视频，"猪站在绿色背包的右边"，结果猪和背包直接糊成了一坨，分都分不开？

这不是段子，这是2025年那些最先进的图像和视频生成模型的日常翻车现场。

一、明明画得很美，为什么总记不住数数

先说一个可能让你意外的事实：现在的AI生成模型,在传统的评分标准上表现已经相当亮眼了。

**FID和CLIPScore**

FID（Fréchet Inception Distance）是衡量生成图像和真实图像分布相似度的指标，CLIPScore是衡量图片和文字描述匹配程度的打分方式，两者都是这个领域常用的"及格线"。

按这些指标看，很多模型的生成结果已经"及格"甚至"优秀"了。但只要你换一套更挑剔的测试题，比如专门考察数东西对不对、颜色配得对不对、左边右边分得清不清楚的测试集，这些模型立刻现出原形。论文里提到的GenEval2、T2I-CompBench++这些基准测试,专门盯着这些"细节题"不放，结果一测一个准,翻车率相当高。

这背后的原因其实不难理解。AI画图的过程叫扩散去噪，简单说就是从一片雪花噪点开始，一步一步把噪点"擦"成清晰的图像。整个过程是一条道走到底的，模型在脑子里想好了要画什么，然后闷头画完,中间不回头看,不检查。

**扩散模型**

扩散模型是一种通过反复去除噪声来生成图像或视频的AI模型，它先把一张清晰图片逐渐加噪变成雪花噪点，再学习如何把噪点一步步还原成图片，生成时就是反着这个过程走。

这就好比让一个厨师蒙着眼睛做菜,从头到尾不许尝味道,直到菜端上桌才能摘掉眼罩。如果调料放多了、火候过了，厨师自己根本不知道，只能等菜做完了才发现问题，而这时候菜已经做完了,想改都改不了。如果不让厨师中途尝味道，会怎样？答案就是,只能靠运气,好不好吃全凭第一次下手准不准,一旦出错,整锅菜就废了,没有任何挽回的机会。

二、Best-of-N：多做几份菜,选最好的那份

面对这个问题，行业里一个很自然的解法是:多生成几份，选最好的一份。

这就是**Best-of-N**方法,一种简单粗暴但很常用的测试时计算增强策略:让AI生成N张图或N段视频，然后用一个评判模型（通常也是个AI，叫多模态判官）给每张打分，选分数最高的那张交付。

这招确实比只生成一张要强，但问题也很明显。Best-of-N只能在"已经做完的菜"里挑最好吃的那份，它没办法在做菜过程中发现"糖放多了"然后现场补救。这就好比一个餐厅老板,让十个厨子各做一份宫保鸡丁,然后从十份成品里选一份卖给客人,而不是在某个厨子马上要把菜做糊的那一刻叫停他,告诉他"糖色炒过了，赶紧加水"。选出来的那份可能依然有瑕疵，只是十份里相对没那么瑕疵而已,没有一份是被"救回来"的。

而且更可惜的是，那些没被选中的九份,计算资源全部打了水漂,哪怕其中某一份其实只差最后一步就能画对,也一样被直接扔掉了。

三、PreviewDiff：让AI一边画一边被人盯着改

这就是本文要讲的这项研究,来自MIT和谷歌云AI研究院团队提出的**PreviewDiff**,一种训练无关的测试时搜索方法,核心思路是：别等画完了才评分，在画的半路上就把没画完的草图拿出来看一眼，让AI判官当场提意见，然后照着意见继续画。

**训练无关**

训练无关（training-free）指的是这个方法不需要重新训练或微调原来的生成模型，只是在生成过程中加一层额外的控制逻辑,拿来就能用,不用为它专门再训练一个新模型。

这个思路听起来简单,但背后有个关键的技术支撑:扩散模型在生成过程中的任意一步,其实都能"偷看"一眼当前这一步觉得最终成品大概会是什么样子,这个中间产物叫**清晰潜变量估计**（clean-latent estimate），你可以理解成半成品的预览图,虽然还没完全去噪完成,但已经能大致看出画面结构了。

PreviewDiff做的事情是：在去噪过程走到某几个关键节点时,把这个预览图解码出来给AI判官看,判官不仅打分,还要具体指出"这里缺了个对象""这个颜色不对""这两个东西的位置关系反了"，然后这些反馈会变成具体的修改指令,推动接下来的生成继续往正确方向走。

这就像是请了一位美术老师,在你画画的过程中,不是等你画完才打分,而是每画到一个阶段就叫住你,指出"这里的透视歪了,往左边挪挪""背景颜色太暗,整体调亮一点"，然后让你带着这些具体建议继续画完剩下的部分。如果不这样做会怎样？老师只能等你画完整张画才评论,而那时候画布已经定型,很多结构性问题根本没法改,只能整张重画,等于前面画的功夫全白费了。

四、树搜索：同时试几条路，选走得最顺的那条

光有反馈还不够，PreviewDiff还引入了一个"**分支搜索**"机制。

具体来说，当AI判官指出了几个可能的修改方向后，系统不是只选一个方向硬着头皮走下去，而是同时沿着好几个方向各走一小步，生成几个不同的"分支延续版本"，再分别打分，把分数低的分支砍掉，只留下最有潜力的继续往下走。

**Monte Carlo树搜索（MCTS）**

MCTS是一种常用于游戏AI（比如围棋AI）的搜索算法，核心思路是不断尝试不同分支路径，根据评估结果保留最优路径并放弃劣质路径，PreviewDiff把这个思路搬到了扩散模型的生成过程里，只不过针对的是视觉生成任务。

论文里给出了一个具体例子：给定提示词"一只猪站在绿色背包的右边"，系统先用三个不同的随机种子各生成一版初步预览图,判官发现有的版本猪和背包糊在一起，有的版本背包颜色不对，于是针对每个版本分别提出修改建议,比如"把猪和背包分开""把背包改成绿色""给物体之间增加一些间距"，系统据此生成对应的修改分支，再逐一打分，最终选出得分最高（0.86分）的那条路线继续完成生成。

这个过程有点像同时派出三组勘探队去找水源，每组根据地形提出不同的挖井方案，先各挖一小段试试水量，发现哪个方向水量最大，就集中力量往那个方向深挖，而不是三组人一开始就压上全部力气死磕一个方向,万一方向错了全队都白干。

为了不让这棵"搜索树"无限膨胀（毕竟每多看一眼预览图、每多问一次判官都是要花钱花时间的），PreviewDiff还做了几个限制。修改建议不是重写整个提示词，而是用简短的"补丁说明"附加在原提示词后面,论文里叫**修复便签**（fix notes），这样能避免完全重写提示词时不小心把原本已经画对的部分给改错了。同时，回退去噪的步数也控制在一个较小的范围内，只往回退一点点重新加噪,而不是直接打回纯噪声重新开始,这样既给了修改的空间,又不至于把已经画好的部分完全推翻重来。

五、跑分说话：到底比Best-of-N强多少

光说理论不够，论文里给出了大量实测数据来验证这套方法到底有没有用。

在图像生成任务上，用SDXL模型在GenEval2测试集上，随着计算预算（也就是去噪步数）从86步增加到704步，PreviewDiff的平均得分从2.17分（满分4分）一路涨到2.86分，而同样计算预算下的Best-of-N只能从1.91分涨到2.71分。这个差距贯穿了从小预算到大预算的全过程，说明这套方法不是那种"预算越大优势越小"的投机技巧,预算再大，它依然保持领先。

**T2V-CompBench**和**NarrLV**

T2V-CompBench是专门评测文本到视频生成任务中组合性表达能力（比如动作、位置、属性是否对应）的基准测试，NarrLV则专门考察长视频里叙事结构和时间顺序是否符合要求,这两个测试集都是视频生成领域公认比较难啃的硬骨头。

在视频生成上同样能看到类似的趋势。用LTX-Video模型在NarrLV测试集上，PreviewDiff从1.99分涨到2.39分，Best-of-N只从1.75分涨到2.13分。而且不管换成更强的基础模型（比如FLUX.2或者Wan 2.2），PreviewDiff依然稳定保持领先,说明这套方法不是专门为某个弱模型量身定制的补丁，而是能跟着基础模型一起进步的通用增强手段。

下面这张表格摘取了论文中的部分关键实验数据：

| 模型 | 方法 | GenEval2(Gemini) | T2I-CoReBench | T2I-CompBench++(BLIP VQA) |

|---|---|---|---|---|

| SDXL | **PreviewDiff** | **2.292** | **2.015** | **0.4844** |

| SDXL | Best-of-N | 2.090 | 1.713 | 0.3976 |

| SDXL | EvoSearch | 2.103 | 1.7543 | 0.4521 |

| FLUX.2 9B | **PreviewDiff** | **3.112** | **2.781** | **0.7851** |

| FLUX.2 9B | Best-of-N | 2.775 | 2.674 | 0.7256 |

论文还专门找了九位人类评委来盲测打分，让他们在不知道方法名字的情况下比较PreviewDiff、EvoSearch和Best-of-N三种方法生成的图像和视频。结果显示，PreviewDiff在"内容准确性"这个维度上的优势特别明显，赢EvoSearch的胜率超过60%，赢Best-of-N也接近55%到60%。但在"风格美感"这个维度上优势就没那么大了，这其实很合理,毕竟判官被要求盯着的是"画得对不对"，不是"画得美不美"，两者的优化目标本来就不完全重合。

六、什么时候插手最有效：早插手 vs 晚插手

论文还做了一个挺有意思的细节实验,研究到底应该在生成过程的哪个阶段插手效果最好。

结果发现：早期介入的效果明显好于中期和后期介入。

用两个检查点的方案测试下来，越早让判官看预览图、提意见，最终生成质量越高。这个结论乍一听有点反直觉,毕竟越早期的预览图越模糊，判官看得清楚吗？但仔细想想又完全说得通：早期预览图虽然细节模糊,但已经能看出大致的物体轮廓和位置关系了，这时候提出修改建议,后面还有很长的去噪过程可以慢慢消化和执行这个修正。而如果拖到接近生成完成才插手，预览图确实清晰了,但整个画面基本已经定型，判官指出问题也很难真正改变最终结果,等于是白提了建议。

这就像装修房子，如果在打地基和搭框架的阶段发现房间布局不合理，改起来只是调整图纸，成本很低。但如果等墙都刷好漆、家具都摆好了才发现卧室朝向不对，这时候再想改，基本等于重新装修一遍,代价完全不是一个量级。

论文里同时还测试了搜索宽度、搜索深度、语义变体数量这几个维度的影响，发现**搜索宽度带来的提升最大**。

也就是说，同时探索更多条不同的分支路径，比在同一条路径上反复深挖或者让判官多提几种修改方案更有效。这也符合直觉：多几个方向去尝试，撞上正确答案的概率自然更高，这比在一个可能本身就走偏了的方向上反复修修补补要划算得多。

七、它也不是万能的：数数和时序还是老大难

论文很坦诚地承认了这套方法目前还搞不定的问题。

在图像上，最顽固的失败案例集中在精确数量和空间关系反转上。比如要求画"四个钟和五只带斑点的乌龟"，PreviewDiff能把物体类别画对，但精确数量还是经常出错。要求画"五把金属伞在一只羊下面"，结果有时反而画成了羊站在伞下面,左右关系倒是对了,但上下关系整反了。颜色绑定也有类似问题,比如要求画"蓝色长颈鹿"，系统保留了整体构图布局，但颜色就是没有准确地贴到长颈鹿身上。

视频上的问题更偏向时序执行不完整。比如要求视频里出现"球门区域+守门员+暴雨"三个元素按顺序展开，系统可能只画出了球门区域，守门员和暴雨这两个后续事件直接被漏掉了。再比如要求展示"划火柴、点蜡烛、吹灭蜡烛"这一整套动作序列，系统有时会直接跳到"蜡烛已经点着了"这个状态，中间的具体动作过程被省略掉了。颜色随时间变化的长序列指令（比如要求水晶按透明到蓝色到绿色再到黄色橙色紫色的顺序渐变）也依然很难精确执行。

这些失败案例说明，PreviewDiff擅长解决的是那种可以通过局部提示修正来纠正的语义错误,比如"这里少了个东西""这个颜色不对"，但对于需要精确计数、精确空间关系判断，或者长时间跨度状态追踪的任务，目前这套框架依然力不从心。这其实也提示了一个更深层的问题：多模态判官本身的判断能力是有上限的,如果判官自己都数不清楚图里到底有几个物体，那它指导出来的修正建议自然也不会准。

Q&A

Q1：PreviewDiff是什么？

A：PreviewDiff是MIT和谷歌云AI研究院团队提出的一种训练无关的测试时搜索方法，核心是在图像或视频扩散模型生成过程中的中间节点，让多模态AI判官查看半成品预览图并提出具体修改意见，据此分支生成多个修正版本并筛选保留最优路径，而不是等完全生成后才挑选最好的结果。

Q2：PreviewDiff和Best-of-N相比优势在哪？

A：Best-of-N只能在已经生成完的多个结果里挑最好的一个，无法中途干预和修正。PreviewDiff可以在生成尚未完成、画面还能修改的阶段就介入纠错，实验显示在相同计算预算下，PreviewDiff在图像和视频生成任务上的得分均明显高于Best-of-N，且这个优势在预算增大后依然保持。

Q3：PreviewDiff目前还有哪些解决不好的问题？

A：论文指出该方法在精确物体数量、空间关系反转（比如上下左右搞反）、颜色属性精确绑定上仍容易出错，视频生成中涉及长时间跨度的动作序列或时序颜色渐变也常常执行不完整，说明它更擅长纠正局部语义错误，而非需要精确计数或长程状态追踪的任务。