香港大学联合字节跳动，让AI图像生成模型学会"自我反思"并自动改错

这项由香港大学与字节跳动Seed联合完成的研究，以预印本形式发布于2026年5月，论文编号为arXiv:2605.12495，有兴趣深入了解的读者可通过该编号查询完整论文。

一个让人哭笑不得的场景：你让一个AI绘图助手画"一棵树挡在长椅前面"，它却生成了"长椅挡在树前面"的画面。你指出这个错误，它却回答："这张图完全符合您的要求，视觉效果很好！"——这种自欺欺人的反应，正是当前图像生成AI的普遍痛点。研究团队把它叫做"确认偏误"：AI天生倾向于认为自己的输出是对的，很难主动发现和纠正错误。

这篇论文提出的AlphaGRPO框架，正是为了打破这个循环。它让AI图像生成模型学会两件以前做不到的事：第一，在生成图像之前主动思考"用户真正想要什么"；第二，在生成图像之后主动审视"我画的哪里不对，怎么改"。更关键的是，这套能力不需要从零开始教，也不需要依赖更强大的商业AI来"喂数据"——研究团队证明，模型本身就藏着这些潜力，只需要用对方法激活它。

一、AI绘图助手的"确认偏误"困境

在正式介绍解决方案之前，研究团队做了一个有趣的预备实验，揭示了问题的本质所在。

他们用的是当前最先进的统一多模态模型BAGEL作为测试对象。这类模型的特别之处在于，它既能看图、理解图，又能生成图，两种能力集成在同一套神经网络里。这就好比一个人既是摄影师，又是美术评论家——理论上，这个人应该能评价自己拍的照片好不好。

实验分两组。第一组叫"验证模式"：给模型看一张生成的图，问它"这张图有没有满足用户的要求"。测试用的图有一个明显错误——画面里一只手拿着剪刀，剪刀和手应该在阳光下投影到身后的墙壁上，但实际生成的阴影方向和光源完全对不上。结果模型的回答是："这张图完全满足了用户的原始意图，画面质量很高，符合物理规律。"——它直接无视了阴影的明显错误，给出了满分评价。

第二组叫"反思模式"：直接告诉模型"这张图存在错误，请找出来"。这一次，模型的表现判若云泥，它立刻指出："图中阴影的位置和形状与光源不一致，剪刀和手的阴影朝向应该根据光源方向重新调整，目前的阴影呈现不自然、不连贯的外观。"

两次实验，同一个模型，同一张图，却得出了完全相反的结论。这个发现意味着，模型并不是"不会"找错误，而是在默认状态下，它的"确认偏误"会压制这种能力。一旦明确要求它进入找错模式，潜藏的视觉理解能力就被激活了。这个洞察成为了整个AlphaGRPO框架的设计基础。

二、奖励信号的失真问题：问对问题才能得到真答案

发现了"确认偏误"的问题之后，研究团队还需要解决另一个基础性难题：如何给AI的"好坏"打一个准确的分数？

这件事比听起来难得多。在强化学习的训练框架里，AI每生成一张图，就需要有人——或者有另一套系统——给这张图打个分，告诉AI"你这次做得好不好"。AI靠着这个信号来调整自己，逐渐进步。如果打分系统本身不可靠，AI就会学歪，在错误的方向上越跑越远。

研究团队测试了一种直觉上很自然的打分方法：直接让另一个强大的多模态AI看图打分，从0到10给一个整体评分。他们用的是一个叫做VIEScore的现成打分系统。

测试结果暴露了这种方法的致命缺陷。他们生成了两张图，都基于同一个描述"一棵树在前方遮住了身后的长椅"。第一张图里，树在长椅后面（不符合要求）；第二张图里，树在长椅前面（完全正确）。VIEScore给这两张图打出了完全相同的分数：0.848。一个空间关系完全错误的图，和一个完全正确的图，得到了一模一样的分数。这个打分系统根本分辨不出好坏。

为什么会这样？研究团队的解释是：让AI给图片打一个抽象的"综合分数"，就像让人给一道菜打一个"总体评价分"，容易把所有细节都模糊掉，对"树和椅子谁在前面"这种具体、精细的差异视而不见。

于是他们换了一种思路：不打综合分，改成直接问具体问题。针对那张图，直接问："树有没有遮住长椅？"然后不要求AI回答"是"或"否"，而是记录它内部计算"是"这个词的概率值。结果这种方式给出的分数分别是0.592（第一张，不符合要求）和0.914（第二张，符合要求）——差距清晰可辨，准确地反映了两张图的质量差异。

这个发现就像是破解了一道密码：问对问题，答案就出来了。综合打分是让AI走一条"黑箱"路线，而直接问具体问题是强迫AI把注意力锁定在关键细节上，激活它的精确辨别能力。这个原理，后来成了DVReward（分解式可验证奖励）设计的核心逻辑。

三、DVReward：把大问题拆成小问题，再一一核验

基于上述发现，研究团队设计了一套名为DVReward（Decompositional Verifiable Reward，分解式可验证奖励）的打分机制。它的工作方式可以用一个生活场景来理解——

考虑这样一个场景：你雇了一个装修工，你给出的要求是"把客厅改成北欧风，要有原木色地板、白色墙壁、简洁的北欧风格家具，光线要充足，整体要整洁干净"。验收时，如果你只是站在门口说"嗯，总体感觉60分"，就可能漏掉"地板其实是深棕色的"这个明显错误。但如果你拿着清单逐条检查——地板是原木色吗？墙是白色吗？家具是北欧风格吗？光线足够明亮吗？——就能精准捕捉到每一处不符合要求的细节。

DVReward做的正是这件事。它分两步工作。

第一步，"分解"：用一个大型语言模型充当"需求分析师"，把用户的原始描述拆解成一系列具体、可以独立验证的小问题。这些问题分为两大类：语义对齐类和视觉质量类。语义对齐类问题涵盖十个维度，包括物体是否存在、颜色和材质等属性是否正确、空间位置关系是否准确、数量是否正确、动作是否正确、风格是否匹配、文字内容是否正确、负面要求是否被遵守（比如"不要有光晕效果"）、视角是否符合要求，以及场景环境是否正确。视觉质量类问题则覆盖八个方面，包括几何结构是否合理、生物解剖结构是否准确（比如人的手指数量）、材质纹理是否真实、物体之间是否有不合理的融合或混叠、光照和阴影是否一致、物理规律是否可信、画面中的文字是否清晰可读，以及整体美观程度。

值得特别注意的是，研究团队在这里加入了一个细节设计：对于抽象的描述词，系统会强制把它转换成可观察的物理现象再来提问。比如"咖啡是热的"这种描述，不会直接问"咖啡是热的吗"，而是会转化为"杯子上方有没有升起的水蒸气"——因为前者主观模糊，后者客观可见。

第二步，"核验"：对生成的图像，用一个预训练的多模态大模型（具体使用的是Qwen3-VL-30B-A3B）逐条回答这些问题。但答案不是简单的"是/否"，而是记录模型回答"是"这个词的概率值，作为连续的置信度分数。这个设计的好处是保留了答案的细腻程度——"非常确定是"和"勉强算是"之间的差别不会被抹平。最终，所有语义类问题的平均分和所有质量类问题的平均分，通过几何平均数合并成一个总体奖励分数。

这套机制在对比实验中表现出了明显优势。在两个不同的基础模型上，DVReward都优于其他竞争方案，包括基于人类偏好训练的PickScore、HPSv3、UnifiedReward，以及直接让AI打综合分的VIEScore。尤其值得关注的是，其他几种奖励方法在某些测试基准上会让模型性能下降，而DVReward在所有测试基准上都带来了稳定提升，没有出现"在某处变好、在另一处变差"的现象。

四、AlphaGRPO：用强化学习同时训练"思考"和"作画"两个动作

有了可靠的打分机制，研究团队就可以着手训练模型了。他们使用的训练方法叫做GRPO（Group Relative Policy Optimization，群体相对策略优化），这是近年来在AI推理训练领域非常成功的一种强化学习方法，DeepSeek等知名模型的推理能力也用这类方法训练出来的。

GRPO的基本逻辑可以用一个"班级竞赛"来理解：对同一道题，让AI同时给出一组答案（比如14个），然后计算每个答案的得分，分数比平均水平高的答案被视为"好答案"，模型应该更多往这个方向走；分数低于平均水平的答案被视为"差答案"，模型应该减少这类行为。通过反复这个过程，模型的整体水平逐渐提升。

AlphaGRPO的创新在于，把这套方法同时应用到两个环节上：文字思考环节和图像生成环节。

在这套框架里，模型的每次输出被定义为一条"混合轨迹"：先生成一段推理文字，再基于这段文字生成图像。文字部分是离散的语言符号序列，图像部分是连续的扩散过程——这两种数学性质完全不同的东西，被统一到同一个优化目标里，由同一个奖励信号来驱动。文字的好坏、图像的好坏，都由最终图像的DVReward分数来衡量，这个分数被"反向传播"，同时优化文字策略和图像策略。

研究团队在两个任务上验证了AlphaGRPO。第一个任务是"推理式文生图"：给模型一个需要深度理解的描述，模型先用文字推理出关键的空间布局和视觉细节，再生成图像。第二个任务是"自我反思式修复"：给模型一张已经生成的图，以及原始的描述，让模型先用文字诊断出图中的错误，再据此重新生成修正后的图像。这正是利用了之前发现的"反思模式能激活模型真实能力"的洞察。

针对第二个任务，研究团队还引入了一个额外的安全机制，叫做"假阳性矫正"（False-Positive Rectification）。问题是这样产生的：在一组14个生成结果里，如果某张"修复后的图"比原图还差，但恰好在那组结果里排名靠前，正常的GRPO逻辑会错误地鼓励这种退步行为。假阳性矫正规则很简单：如果修复后的图得分不高于原图，直接给这条轨迹打最低分，强制让它产生负面激励，确保模型绝对不会因为"修复得更糟"而得到奖励。实验证明，加入这个机制后，模型在多个测试基准上都有稳定提升，尤其是在处理长描述的复杂任务上，提升最为明显。

五、训练数据怎么来：从零件库到作文题，19500道提示语的诞生

一套好的训练方法，还需要配合一套好的训练数据。研究团队采用了"从零件到整体"的策略来构建提示语数据集。

他们首先建立了一个视觉元素"零件库"，里面收录了各种物体名称、颜色和材质属性、空间位置关系等基础视觉概念。然后，参照TIIF-Bench这个评测基准的任务分类体系，定义了39种不同类型的合成任务，涵盖空间推理、属性绑定、计数等各类组合描述能力。对每种任务，用另一个大型语言模型（Qwen3-235B-A22B）从零件库里随机抽取元素，按照任务模板生成描述语句，并且控制三档难度——简单、中等、困难的比例为3:5:2。最终生成了19500条训练提示语（每种任务各500条），以及1024条用于测试的提示语。

这种"自动造题"的方式有一个重要优势：可以精细控制难度分布和任务类型分布，避免训练数据过于集中在某类简单场景，导致模型只会"刷简单题"。

六、实验结果：五个评测基准全面提升，编辑任务零训练迁移

研究团队的实验设计思路有一个鲜明特点：他们刻意回避了在训练用的测试集上评分，而是专门用训练时没见过的、更广泛的下游基准来衡量效果。这就好比考试时不允许刷真题，而是用全新的卷子来检验真实能力，更能说明方法是否真的有效，而非只是死记硬背了训练数据。

评测在五个基准上进行，分别是：GenEval（专注评测物体组合和属性绑定能力）、TIIF-Bench（覆盖39种细分指令跟随能力，分短描述和长描述两个版本）、DPG-Bench（评测在复杂长描述下的语义对齐能力）、WISE（评测需要世界知识才能正确生成的场景）、GEdit（图像编辑任务）。

在512分辨率下，相比基础模型BAGEL，AlphaGRPO（训练自反思修复任务）在DPG-Bench上从85.0提升到86.3，在GenEval上从84.0提升到84.2，在TIIF-Bench短描述上从81.7提升到85.6，长描述上从86.1提升到83.3。如果在推理时额外加入自我反思修复步骤，提升幅度进一步扩大：TIIF-Bench短描述达到89.8，长描述达到88.8，GenEval达到88.2，都比基础模型有显著的跃升。在1024分辨率下，趋势同样清晰，加入推理时自我反思后，GenEval从86.6提升到89.5，TIIF-Bench长描述提升幅度同样突出。

在图像编辑的GEdit基准上，结果尤其值得关注。AlphaGRPO训练的是文生图任务，完全没有在编辑数据上训练过，但最终编辑得分仍然从6.56提升到7.08，比基础模型高出0.52分，甚至超过了多个专门为编辑任务设计的模型，例如Step1X-Edit（6.70分）。这说明AlphaGRPO学到的不只是"怎么画某类图"，而是更通用的"如何理解指令并精确执行"的能力。

推理训练版本（RT2I）也能给编辑任务带来0.33分的提升，说明即便只是训练"先思考再画图"，也能对编辑能力产生正向迁移效果。

相比之下，仅仅在BAGEL上做推理时自我反思（不进行强化学习训练），效果要小得多：TIIF-Bench短描述只提升2.3，长描述甚至略有下降，GenEval提升2.3。而AlphaGRPO训练后再加推理时自我反思，对应的提升分别是4.8、3.7和4.0，显著更大。这排除了"模型进步只是因为多画了一次"的可能性，证明强化学习训练确实改善了模型的自我反思行为本身，而非仅仅是多给了一次机会。

七、消融实验：一个个拆开看，哪块设计真的有用

研究团队还做了一系列对照实验，验证AlphaGRPO各个设计细节的价值。

关于置信度分数vs二元分数，用连续的概率置信度来量化"是/否"答案，比直接用"是=1，否=0"的硬分更有效。在TIIF-Bench长描述和GenEval上，置信度分数分别比硬分高出0.6和1.1分。原因在于，置信度保留了"勉强算是"和"非常确定是"之间的差异，给优化算法提供了更细腻的梯度信号。

关于语义问题+质量问题vs只用语义问题，同时加入视觉质量类问题，比单独使用语义类问题在TIIF-Bench长描述上高出1.8分、在GenEval上高出0.1分。这说明如果只考虑"内容对不对"而不考虑"画得好不好"，模型会走向"语义勉强正确但视觉质量很差"的歪路，加入质量约束才能同时保证两方面。

关于问题数量的多少，研究团队测试了把所有问题合并压缩成最多10个核心问题的方案，结果虽然TIIF-Bench上表现相近，但GenEval的空间类得分从74.3骤降到63.0，计数类得分从82.5骤降到71.8。压缩问题导致了信息损失，具体的空间关系和数量约束被模糊化，奖励信号变得不够精准。

关于假阳性矫正，去掉假阳性矫正后，TIIF-Bench长描述从79.5降到77.8，GenEval从84.2降到83.7。这个结果证明，在自反思训练中，过滤掉"退步也被奖励"的噪声信号，对防止模型走歪至关重要。

关于KL正则化，研究团队把KL散度系数都设为0（即不限制模型与原始模型的差异），是默认选择。加入轻微正则化（系数设为0.001）后，TIIF-Bench短描述略有提升，但长描述和GenEval均有下降，整体不稳定。所以最终采用无正则化方案。

八、系统效率：如何让"打分等待"几乎不占训练时间

DVReward需要用一个大型多模态模型对每张生成的图像逐条回答十几到几十个问题，这在计算上是不小的开销。研究团队设计了一套高效的部署方案来消除这个瓶颈。

训练在64张NVIDIA A100显卡上进行，每个8卡节点里，7张卡负责模型训练，1张卡专门运行打分模型（Qwen3VL-30B-A3B）。这样避免了打分和训练争抢同一块GPU资源。打分请求采用去中心化的方式，每个节点只向本节点的打分服务发送请求，不走跨节点通信，大幅降低延迟。每次训练迭代里，模型生成的一批图像被分成4个小批次依次处理，每个小批次的打分请求在生成完成后立刻提交，但实际收取打分结果被推迟到所有小批次都生成完毕再统一处理，这样打分计算和后续生成过程就重叠进行了。

此外，针对同一张图的多个问题，所有问题共享同一个"图像前缀"，打分模型只需要处理一次图像特征，多个问题共享这次计算结果（利用KV缓存机制）。每道问题的额外计算成本只有约20个前缀词元和一个解码词元，非常轻量。

最终，打分等待的空闲时间从原来的40.8秒压缩到约0.00001秒——几乎完全消除了打分引起的训练停顿，整套系统的效率与使用简单打分模型基本持平。

九、人类评测：真实用户也认可这个进步

除了自动化基准测试，研究团队还进行了一次小规模人类评测，邀请三位标注者对200张来自真实用户提示语的图像对（AlphaGRPO vs BAGEL）进行盲测比较，分别在"整体偏好"、"指令跟随程度"和"感知质量"三个维度上作出判断。

在整体偏好上，人类评测者选择AlphaGRPO的比例为40.5%，选择BAGEL的为30.5%，平局为29.0%，AlphaGRPO有明显优势。在指令跟随程度上，AlphaGRPO胜出的比例为36.5%，BAGEL为25.5%，平局为38.0%，AlphaGRPO在精确执行用户指令方面更受认可。在感知质量上，AlphaGRPO以43.0%对39.0%领先，且平局比例只有18.0%，说明两者在画面质量上的差异是真实可感知的，而非统计噪声。

用DVReward对同样的200对图像进行自动化偏好判断，结果DVReward选择AlphaGRPO的概率为51.3%，选择BAGEL为34.7%，方向与人类判断一致，说明DVReward的训练信号与人类真实偏好是对齐的。

研究团队还用三个完全独立于训练过程的额外指标——AestheticScore（美学分）、CLIPScore（文图匹配度）、PickScore（人类偏好预测）——对1000张来自真实用户提示语的图像进行了评测。AlphaGRPO在三项指标上全部高于BAGEL，排除了"只在DVReward训练信号方向上改善、其他方面变差"的可能性，证明提升是全面的。

归根结底，这篇论文做了三件事，每一件都在解决一个真实存在的问题。它发现了统一多模态模型里潜藏着自我审视能力，只需要用正确的方式激活，而不是从外部灌输进去；它设计了一套让"问具体问题"代替"打综合分"的奖励机制，让强化学习的训练信号更可靠；它把文字思考和图像生成这两个性质不同的过程放进同一个优化框架，用一个分数同时改善两者。

这对普通用户意味着什么？当你用AI绘图工具描述一个复杂场景时，模型能更好地理解你真正想要什么，而不是字面直译；生成结果如果有偏差，模型能自己发现问题并给出更好的版本。虽然距离"完全理解人类意图"还有很长的路，但这套框架提供了一个不依赖昂贵标注数据、也不依赖更强外部模型的自我进化路径，值得持续关注。这项研究还有明确承认的局限性：在512分辨率下基础模型偶尔会生成模糊或噪点图像，影响自我反思的效果；目前只用了最终输出的奖励，没有对"反思过程本身是否找到了正确的错误"给予中间监督；未来可以探索加入一致性奖励，确保修复前后的语义保持一致，以及在反思步骤中加入过程监督。想深入了解技术细节的读者可通过arXiv编号2605.12495查阅完整论文。

Q&A

Q1：DVReward和直接让AI打分有什么区别，为什么表现更好？

A：直接让AI给图片打一个综合分数，容易把细节差异模糊掉，对空间位置错误、颜色属性错误等具体问题不敏感，两张质量差距很大的图可能得到相同的分数。DVReward把用户的描述拆解成一系列具体的是非问题逐条核验，每道问题只关注一个细节，并记录AI回答"是"的概率作为连续分数，保留了细腻的差异信息，让训练信号更准确可靠。

Q2：AlphaGRPO训练的是文生图任务，为什么在图像编辑任务上也有提升？

A：因为AlphaGRPO学到的核心能力是"理解指令并精确执行"，这种能力在文生图和图像编辑两个任务上都有价值。编辑任务同样需要模型准确理解"改什么、怎么改、保留什么"，AlphaGRPO训练带来的对细节描述的敏感度和执行精度，自然地迁移到了编辑任务上，不需要额外的编辑数据训练。

Q3：AlphaGRPO为什么不需要用商业AI来生成训练数据？

A：研究团队发现，统一多模态模型在大规模预训练中已经积累了图像推理和自我审视的基本能力，只是在默认状态下被"确认偏误"压制了。通过强化学习直接激活这些潜在能力，模型自身就能产生有效的学习信号，不需要依赖GPT-4o等更强的外部模型来"教"它怎么做，也就避免了额外的冷启动阶段和知识蒸馏的依赖。