AI给自己的画反悔，然后又改好了：统一模型如何学会"回头看"

2015年，DeepMind的AlphaGo还没出现，没人会想到有一天AI能自己下棋自己复盘。但即便到了今天，一个更朴素的问题依然没有很好的答案：一个能画画的AI，能不能看出自己画错了，然后自己改？

听起来这不该是个难题。毕竟现在的统一多模态模型早就能又看又画了，理论上它应该能左手拿放大镜检查自己右手画的东西。但这篇来自南洋理工大学等机构的论文告诉我们，事情没那么简单。

**光是能"看"和能"画"放在一个模型里，并不等于这个模型真的会自我修正**。

这就好比给一个厨师配了一面镜子，他确实能看到自己炒的菜卖相不好，但"看到问题"和"知道怎么改"完全是两回事。你可能会看到菜里少放了盐,但下一步该加多少、什么时候加、加了会不会太咸,这需要专门练出来的判断力,不是有了镜子就自动会了。

先搞清楚，这件事到底难在哪

先说说这个领域此前的两条路子。

第一条路是只在"画"这一步上做文章。像T2I-R1和ReasonGen-R1这些工作,用强化学习去优化模型生成图片前的文字规划,以及规划出来的那一张图。

**强化学习*：一种让AI通过不断尝试和获得反馈（奖励）来学习最优行为的训练方式,类似于用"对错"结果来调整策略,而不是直接告诉它标准答案。**

这类方法的问题是,模型画完就完了,它从来不会回头看看自己画的这张图到底对不对,更别说去修。

第二条路是让模型能看着一张中间图片继续往下走,靠模仿人类或者更强模型示范的"检查-诊断-修改"轨迹来学习。这条路给了模型一个还不错的起点,但问题在于,模仿学习教会的是"格式",不是"效果"。

打个比方,这就像教一个新手厨师做菜,你把大厨从"尝一口发现太淡"到"加盐调味"的整个过程录下来给他看,他确实能学会摆出同样的动作:尝一口、皱眉头、拿起盐罐子。

但如果没有人告诉他"加了盐之后菜到底有没有变好吃",他学到的可能只是一套空洞的动作,而不是真正让菜变好吃的判断力。

论文里给出了一个很扎眼的数字：经过监督微调（SFT）训练出来的模型，单次修改轨迹里，只有**20.59%**的初始错误图片能被成功修复。而经过强化学习之后,这个数字跳到了**64.94%**。

**监督微调（SFT）*：用人工标注或已有的高质量示例数据，直接让模型模仿学习的训练方式，相当于给模型一本标准答案抄。**

同样都是"检查-诊断-修改"这套动作，为什么效果能差这么多？这就是这篇论文要解决的核心问题：怎么让模型不只是学会"做出反思的样子"，而是真正学会"哪种反思能带来更好的图"。

UMM-Reflection：让一个模型自己跟自己玩强化学习

论文提出的方法叫UMM-Reflection，建立在一个叫BAGEL的开源统一多模态模型上。

**统一多模态模型*：把"理解图片"（看懂一张图讲的是什么）和"生成图片"（根据文字画出一张图）这两种能力放进同一个神经网络里的模型，这样模型既能当"画家"也能当"评论家"。**

它的训练分两步走，第一步是监督微调打底子，第二步才是真正的重头戏，也就是"整条轨迹的强化学习"。

先说第一步。研究者用GPT-5.5扮演一个严格的评论家角色，让它把每个生成请求拆解成一条条可验证的具体要求，检查图片，写出结构化的反思文字，然后给出一条具体的修改指令，或者判定"已经合格"。图片本身则由Qwen-Image和Qwen-Image-Edit负责渲染和编辑。整个过程凑出了**29,529条**训练轨迹，分成三种类型：一次成功型、自然修复型（真的出错然后一两轮修好）、以及计划推进型（一个复杂需求分几个阶段逐步完成）。

值得留意的是，这批数据的生成完全没有用到BAGEL自己，也就是说BAGEL自身的错误模式并没有被"抄"进这份训练材料里，这份数据只是教会它一套统一的对话协议：怎么表达"我看到了什么问题"，怎么发出"具体改哪里"的指令。

这一步SFT，就像教小孩写作文先学会分段和标点符号，格式对了，但文章写得好不好，还得看后面。

接下来才是真正有意思的部分：整条轨迹的强化学习。

这里有个关键的设计，叫做"共享起点采样"。对每一个生成请求，先采样出一张初始图片，然后把这张图片"冻结"，不让它参与后续的梯度更新。接着从这张同一张图片出发，采样出**16条**完整的反思修改轨迹，每条轨迹各自独立地检查、诊断、修改，直到自己判断完成或者到达三轮的上限。

为什么要这样设计？

想象一下你有16个厨师，面对的是同一锅已经炒糊了的菜（同一张初始图片）。如果每个厨师用的原料都不一样，那你根本没法公平比较谁的补救手法更高明，因为可能是原料好不是手艺好。但如果所有人面对的是完全相同的一锅糊菜，那谁能把它救回来，谁的补救思路更巧妙，一目了然。

**这就是"共享起点"的意义：它让接下来的比较，比的是修复策略本身的高低，而不是运气好不好抽到了一张容易改的图。**

那么怎么给这16条轨迹打分呢？论文用了一个"冻结的验证器"，给每一张生成的图片打一个0到1之间的分数，代表它和原始要求的匹配程度。

**验证器（verifier）*：一个专门用来打分的工具或模型，检查生成的图片是否符合文字要求，训练过程中用它计算奖励，但推理生成图片时完全不需要它。**

有意思的是，标准的GenEval评测打分是二元的，要么完全合格要么不合格，这种打分方式对训练极其不友好。因为大部分修改都是"部分改对了但没完全改对"，如果打分只有0和1两档，那这些有价值的部分进步全都会被记成0分，等于白改了。

于是研究者设计了一套"分级奖励"，只在失败区间内做细分打分，比如两个物体的位置关系判断，会根据两个物体检测框中心点的偏移程度给出连续分数，而不是简单的"对/错"。这样一来，哪怕图片只改对了一半，模型也能拿到相应比例的正反馈，训练信号不再是要么全有要么全无。

整条轨迹的奖励公式里还藏着几个巧思。除了最终图片质量的分数，还专门奖励"每一轮相比上一轮的进步"，同时惩罚"退步"，防止改着改着把已经对的地方改坏了。更妙的是有一个叫做"多轮改进"的奖励项，专门奖励那些改进来自多次编辑累积、而不是一次运气好的幸运改动的轨迹，因为研究者想训练的正是"持续改进"这个行为本身，而不是"蒙对一次"。

有了这16条轨迹各自的奖励，接下来是"群体相对优势"的计算，简单说就是把这16个分数标准化一下，看每条轨迹比这一组的平均水平好多少或差多少。

**群体相对优势（group-relative advantage）*：不是孤立地评价一条轨迹好不好，而是把它放到同一批"兄弟轨迹"里比较，比平均分高就是正向信号，比平均分低就是负向信号，这样能避免打分标准漂移的问题。**

这里最关键的一步设计在于，这个"优势值"是按照整条轨迹算出来的一个数字，但它同时用来更新模型的两个部分：负责写反思文字的"文本头"，和负责根据反思画出修改图片的"流生成头"。

也就是说，如果一条轨迹整体效果好，那么这条轨迹里模型写的每一句诊断文字、画出的每一张修改图片，都会被同时往"好"的方向推一把。

这就好比一个球队打赢了比赛，赢球的功劳不会只归给前锋或者只归给后卫，教练会看整场比赛的录像，给每个环节都打上"这一波打得好"的标签，前锋的射门、后卫的抢断、中场的传球都一起被强化。反过来说，**如果不这样做，只训练一个头而冻结另一个头会怎样？**论文的消融实验给出了答案：只训练画图的那个头，模型分数几乎和SFT持平，只有73分，修复率22.8%；只训练写反思的那个头，能到78分，修复率49.4%；只有两个头一起训练，才能达到84分，修复率64.9%。也就是说，光会诊断病情没用，还得会开对处方；光会画画没用，还得先诊断准问题在哪。这两件事必须一起练，因为它们本来就是同一个大脑在做的两件相互依赖的事。

为什么这么麻烦，不能对每一轮单独打分、单独计算优势值吗？

论文给出了一个很实际的理由：如果要在每一轮都做"群体相对"比较，意味着在第一轮的16条分支基础上，第二轮还要再分16条，第三轮再分16条，三轮下来就是16的三次方，也就是**4096条**渲染轨迹，这个计算量对一个要不断生成图片的模型来说完全无法承受。而用传统PPO方法训练一个专门的价值网络来评估每一轮的好坏，又需要海量的多轮图文状态数据来训练这个价值网络，同样代价高昂。

**折中的办法是保留GRPO那种"按整条轨迹采样K次再比较"的经济性，同时在奖励函数里内嵌"每一轮进步"这个信号，让轨迹级别的优势值依然能间接捕捉到每一轮的贡献。**


数据说话：从71分到84分，差距藏在哪一轮

在GenEval这个包含553个提示词、覆盖单物体、双物体、计数、颜色、位置关系、颜色绑定六大类组合能力的评测基准上，UMM-Reflection达到了**0.84**分，而原始BAGEL模型是0.71分，只做了SFT的版本是0.72分。

**GenEval*：一个专门评测文生图模型是否能正确理解并生成复合指令（比如"左边一个红色苹果，右边一个蓝色杯子"）的评测基准，考察生成图片和文字描述的对齐程度。**

最值得注意的是提升的分布：位置关系这一项从0.47暴涨到0.89，提升了整整42个百分点；颜色绑定从0.51涨到0.65，提升14个百分点；计数从0.58涨到0.68，提升10个百分点。

这个提升模式非常说明问题。位置关系和计数恰恰是那种"一眼就能看出错在哪，但纠正起来需要精确空间推理"的任务类型，也正是模型最需要"回头看"能力的地方。

更有意思的是论文做的一个配对统计检验。把RL模型和SFT模型在同一批提示词上逐一比较，发现RL赢了109个提示词，输了38个，这个差异在统计学上非常显著（p<10??）。但如果只看初始生成的第一张图（也就是还没开始反思修改之前），两个模型的战绩是48胜32负，统计上并不显著（p=0.09）。

**这说明两个模型起跑线上几乎一样，真正的差距是在后续的反思修改轮次里拉开的。**

论文还专门测了"多轮测试时扩展"，也就是让模型多做几轮反思修改，看分数怎么变化。SFT模型的三轮修改总共只能带来大约2个百分点的提升，而且第一轮之后基本就不再涨了，说明它确实在改，但改的效果时好时坏，没有稳定收益。RL模型第一轮就能带来9个百分点的提升，并且持续三轮都在涨，最终堆到12个百分点的总提升。

论文还做了一系列消融实验，逐一拆掉某个部件看效果掉多少。

直接在原始渲染器上做强化学习（不经过反思，只优化单次生图），能把单次生成的GenEval分数从71提到76，但因为没有反思机制，也就没什么可以"修"的东西，分数就停在76了。

把未经训练的原始模型强行套上"检查-编辑"三轮流程（不训练任何参数），意外地也能带来5个点的提升，这说明反思这个协议框架本身就有点价值，哪怕模型没有专门学过怎么用好它。

**只做SFT不做RL**，提升只有2个点，说明监督微调教会的更多是"格式合规"（论文测得95%的轨迹遵循协议），而不是"改得有效"。

**只有把反思SFT和整条轨迹的强化学习叠加在一起**，才能拿到11个点的完整提升，修复率从21%冲到65%，这是这篇论文最核心的一个发现：两种能力必须组合使用，缺一不可。

论文还测了一个叫做"四选一采样"的对照，也就是用更强的直接生图强化学习模型，一次性生成4张图，再让理解模块从中挑出最好的一张。这种做法在GenEval上能到80分，比UMM-Reflection的84分低了4分，配对McNemar检验显示p≤0.04，也就是说UMM-Reflection确实比"多生成几张挑一张"这种简单粗暴的策略更强，因为它不是在赌运气，而是真的在根据具体问题做针对性修改。

除了GenEval，论文还在三个完全没有参与训练的外部基准上测试了迁移效果：WISE（考察世界知识常识）提升了10.97分，OneIG-Bench（综合对齐度评测）提升3.48分，T2I-CompBench++（更细粒度的组合评测）提升4.63分。**这些基准一个都没在RL训练阶段出现过**，说明模型学到的不是针对GenEval题型的应试技巧，而是一种真正通用的"发现问题、解决问题"的能力。

剥开黑箱：RL到底改变了模型内部的什么

这一部分是论文里我觉得最有意思的分析。研究者用一种探针式的方法，去窥探强化学习到底改变了模型大脑里的什么东西。

具体做法是训练一个线性探针，专门检测"这张图是否通过验证器"这个信息，分别在模型的理解流（负责看图）和生成流（负责画图）的不同深度层上测试这个探针的判断准确率。

结果发现，Base模型、SFT模型、RL模型这三者的探针准确率（AUC）几乎一模一样，都在0.80到0.82之间。

**这意味着一件很反直觉的事情：模型本身"知道自己画的图对不对"这件事，强化学习几乎没有改变。**

那强化学习到底改变了什么？答案是：它改变的不是"判断力"，而是"选择力"。

研究者把初始失败的图片，按照这个探针给出的坐标，画在一个二维平面上，绿色区域代表"验证器判定通过"的密集区，红色区域代表"判定失败"的密集区。结果显示，经过RL的三轮修改后，落入通过区域的失败图片比例从34%涨到62%；而SFT模型的三轮修改，这个比例只从36%涨到42%。

这个发现的意思是，**模型本来就有能力生成落在"正确区域"的修改，SFT阶段的多样化探索里其实已经零星包含了这些正确的修改路径，只是它不知道该优先选哪一条**。

论文还专门统计了一个很有说服力的数字：在训练早期，也就是模型行为还接近SFT的阶段，对着16条兄弟轨迹一起看，78%的失败初始图至少有一条轨迹能修复成功，但如果只看单独一条轨迹，成功率只有23%。随着训练推进，单条轨迹的成功率涨到了70%，而16条轨迹里至少一条成功的比例只涨到97%。

**这组数字合在一起讲了一个很清楚的故事：模型的"能力上限"（16条里至少一条对）几乎没怎么变，真正变化的是"发挥的稳定性"（单条轨迹的成功率）。**

如果打个比方，这就像一个学生本来就会做某道数学题的多种解法，但考试的时候，十次里只有两三次能选中那条正确的解法走下去，剩下的时候要么走岔路、要么中途放弃。经过针对性训练之后，这个学生依然只会那几种解法（没学到全新的方法），但十次里能有七次稳定地选中对的那条路走到底。

论文还专门做了一个巧妙的实验来验证这个结论：固定住图片、固定住渲染器、固定住采样用的随机噪声，只把编辑指令从原始请求换成RL模型自己写出来的那句反思指令。结果发现，RL模型写出的指令能把修复率提高到48.4%，远超原始请求的20.5%，甚至超过了一条人工写好、把GenEval所有约束条件都罗列出来的规则化指令（27.6%）。这说明真正起作用的，是文本头学会了写出"更可执行"的具体指令，而不是渲染器本身变强了。

停不停手，这也是门学问

论文还有一个值得单独说的细节，藏在附录里，关于模型什么时候该"收手"。

反思协议允许模型在任意一轮判定"已经完成"然后停止。这个停止决策该怎么定价，其实大有讲究。

论文的主方案是：如果模型在图片其实还没通过验证的情况下就喊"完成"，扣0.5分作为惩罚；但如果在图片确实已经合格的时候喊"完成"，不给额外奖励。

研究者还试了另一种定价方案：给"正确时喊完成"加上奖励，同时给"已经对了还继续瞎改"加惩罚。结果这个看似更合理的设计反而把模型带偏了，模型学会了在图片明显有50%把握是对的时候就提前收手，最终有116张失败图片里112张都是因为提前喊了"完成"，整体分数反而从82掉到了79。

这个发现挺耐人寻味的。**当"停下来"这个动作变得廉价，模型会本能地趋利避害，选择性价比更高但对结果不负责的那条路，就像考试的时候有些题目不会做，与其继续瞎写浪费时间不如干脆交白卷，反正扣分是一样的。**只有让"过早放弃"这件事本身付出明确代价，模型才会被迫继续尝试，而不是躺平认输。

写在后面

读完这篇论文，最触动我的反而不是那些分数提升的数字，而是那个探针实验揭示的现象：模型的判断力本来就在那儿，强化学习没有创造新的能力，它只是让模型学会更可靠地调用已有的能力。

这让我想起一个很朴素的问题：我们平时说某人"进步很大"，到底进步的是什么？是获得了全新的技能，还是只是变得更善于在已有的选项里挑对的那个？这篇论文提供的证据，至少在这个具体场景下，答案偏向后者。这其实是个挺重要的提醒：不要把"输出变好了"简单等同于"能力变强了"，有时候只是选择变准了。

论文里那个"计数"任务始终没被解决的细节也值得琢磨。六大类任务里，位置关系涨了42个点，计数却纹丝不动，训练奖励曲线整整1000轮几乎是平的。研究者给出的解释是，验证器要求精确的数量匹配，而模型学到的编辑动作（加一个、移一下、换个颜色）还不足以稳定地控制数量。这提示我们，"反思修改"这套机制本身不是万能药，它能修复的错误类型，取决于模型手里到底有没有针对性的编辑工具。没有对应的编辑能力，再好的反思也只是在原地打转。

如果一个AI真能看懂自己的画错在哪，但改的时候手里没有合适的画笔，那这场自我修正的游戏，最后卡住的可能不是"想不想改"，而是"会不会改"。

Q&A

Q1：UMM-Reflection是什么？

A：UMM-Reflection是一种让统一多模态模型学会自我检查和修正生成图片的强化学习方法，它让模型内部负责理解和生成的两个部分基于同一个奖励信号联合训练，从而能诊断自己生成的图片哪里错了，并给出有效的修改指令。

Q2：UMM-Reflection相比监督微调（SFT）提升了多少？

A：在GenEval评测基准上，UMM-Reflection比只做SFT的模型提升了12.05分（0.72到0.84），修复初始错误图片的成功率从20.59%提升到64.94%，且在WISE、OneIG-Bench、T2I-CompBench++三个未参与训练的基准上也都有明显提升。

Q3：强化学习到底改变了模型内部的什么？

A：论文通过探针实验发现，强化学习几乎没有改变模型判断图片对错的准确率（AUC始终在0.80到0.82左右），真正改变的是模型能更稳定地选中那些能把失败图片修复成功的路径，本质是提高了"选择的可靠性"而非创造新能力。