腾讯混元团队：让图像生成模型重新崛起的革命性突破

这项由腾讯混元X团队的耿子刚、王一冰、马业耀、李晨、饶勇明、谷舒扬、钟钊、卢庆林、胡涵、张晓松、王林轶、蒋杰等研究人员联合完成的重要研究发表于2025年7月，研究成果发布在arXiv预印本平台（论文编号：arXiv:2507.22058v1）。感兴趣的读者可以通过https://x-omni-team.github.io了解更多详细信息。

想象一下，如果你想让电脑画一张带有"中秋快乐"字样的月饼海报，过去的人工智能往往会把字写得歪歪扭扭，甚至画出一些奇奇怪怪的图案。就好比你请了一个从未学过中文的外国朋友帮你写春联，结果虽然色彩漂亮，但字迹潦草得让人看不懂。这个令人头疼的问题，终于被腾讯混元团队找到了解决方案。

他们开发的X-Omni系统就像是给人工智能请了一位经验丰富的老师，通过"强化学习"这种特殊的训练方法，让AI不仅能画出精美的图片，还能准确地在图片中写出各种文字，无论是英文还是中文都能处理得游刃有余。这项突破性研究首次证明了一个重要观点：传统的图像生成方法并没有过时，只是需要更好的训练方式。

过去几年里，科学界普遍认为让AI"逐步画图"的方法已经落伍了，大家都转向了一种叫"扩散模型"的新技术。然而，腾讯混元团队却反其道而行之，他们发现问题的根源不在于方法本身，而在于训练方式。通过引入强化学习，他们让原本"过时"的方法重新焕发了生机，不仅在图像质量上达到了业界顶尖水平，更在文字渲染能力上实现了前所未有的突破。

这项研究的意义远不止于技术层面的创新。在日常生活中，无论是制作海报、设计广告，还是生成带有特定文字内容的图片，X-Omni都能提供前所未有的便利。更重要的是，这个系统实现了图像生成和图像理解的完美统一，就像是培养了一个既能画画又能看图说话的全能助手。

### 一、传统方法的困境与新思路的诞生

要理解这项研究的价值，我们需要先了解人工智能画图的演变历程。早期的AI画图就像是用积木搭房子，需要一块一块地放置，每放一块都要考虑前面放过的积木。这种"自回归"的方法看起来很自然，毕竟人类写字画画也是一笔一笔完成的。

但是现实很残酷。当AI尝试用这种方法画图时，经常会出现各种问题。比如画一个人脸时，可能前面画得挺好，但画到后面就开始变形，最终整张脸看起来都不协调。这就像是用多米诺骨牌搭建复杂图案，一旦中间某个环节出错，后面的所有骨牌都会受到影响。研究人员把这种现象叫做"累积误差"。

正因为这个问题，近年来大部分研究者都转向了"扩散模型"。扩散模型的工作方式完全不同，它像是先在纸上洒满墨点，然后通过一系列精巧的步骤，逐渐将这些看似杂乱的墨点整理成清晰的图像。这种方法确实能生成高质量的图片，但也带来了新的问题：很难将图像生成和图像理解统一到一个系统中。

这就好比你需要两个不同的专家：一个专门负责画画，另一个专门负责看图说话。当你想要一个既能画画又能分析图片内容的助手时，就需要让这两个专家协作，这样的协作往往效率不高，也容易出现沟通问题。

腾讯混元团队敏锐地意识到，问题的关键可能不在于方法本身，而在于如何训练这些AI系统。他们提出了一个大胆的假设：如果给传统的自回归方法配上更好的"老师"，是否就能解决累积误差的问题呢？

这个"老师"就是强化学习。强化学习的训练方式就像是培养一个学生：不仅要告诉他什么是对的，更要在他犯错时及时纠正，并给予适当的奖励和惩罚。传统的训练方法只会说"这样画是对的"，但强化学习会说"这样画很好，给你奖励；那样画不好，需要改进"。

### 二、X-Omni系统的巧妙设计

X-Omni系统的整体架构就像是一个精密的工厂流水线，每个环节都有自己的专门职责，但又紧密配合形成一个有机整体。

首先是"图像分词器"这个关键组件。我们可以把它想象成一个翻译官，它的工作是将复杂的图像转换成计算机能够理解的"单词"。就像我们看到一朵红玫瑰时，大脑会自动将这个视觉信息转换成"红色"、"花朵"、"玫瑰"等概念，图像分词器做的就是类似的工作。

但是，普通的图像分词器往往关注的是像素级别的细节，就像是一个过分关注笔画粗细的书法老师，虽然技术细节很到位，但可能忽略了字的整体美感和含义。X-Omni采用的SigLIP-VQ分词器则不同，它更关注图像的语义信息，就像是一个既懂技法又懂美学的艺术大师，能够抓住图像的精神内核。

接下来是"自回归模型"这个核心大脑。研究团队选择了Qwen2.5-7B作为基础模型，这就像是选择了一个已经具备深厚语言功底的学者作为基础。但是，要让这个原本只懂文字的学者也能处理图像，就需要进行特殊的改造。

研究团队的做法很巧妙：他们在原有的语言模型中插入了专门处理图像的"视觉层"。这就像是给一个文学专家配备了绘画工具和绘画知识，让他既能写文章又能画图。更重要的是，这些视觉层只处理图像信息，不会干扰文字处理，确保了系统在处理混合内容时的稳定性。

为了处理不同尺寸的图像，X-Omni还采用了一个聪明的策略：在图像标记前加上尺寸信息。这就像是在每张画纸上标注"这是A4纸"或"这是海报尺寸"，让AI在画图时就知道应该如何安排布局。

最后是"扩散解码器"这个精巧的最终处理器。当自回归模型生成了图像的语义标记后，扩散解码器负责将这些抽象的标记转换成最终的像素图像。这个过程就像是根据建筑师的设计图纸建造真正的房子，需要将抽象的概念转化为具体的视觉效果。

### 三、强化学习的神奇力量

强化学习在X-Omni中的应用可以用"严师出高徒"来形容。传统的训练方法就像是给学生一本标准答案，让他照着抄写，虽然能学到正确的知识，但缺乏灵活应变的能力。而强化学习则像是一位经验丰富的导师，不仅会给出标准答案，还会在学生犯错时及时指出问题所在，并给予具体的改进建议。

研究团队采用的GRPO（群体相对策略优化）算法特别适合这种训练场景。这个算法的工作方式很有趣：它会让AI针对同一个提示生成多个不同的图像，然后让这些图像互相"竞争"。就像是一个绘画比赛，每个参赛作品都会被评委打分，分数高的作品会被当作正面榜样，分数低的作品则被当作反面教材。

这种训练方式的好处是显而易见的。AI不再是孤立地学习每一个例子，而是在不断的比较和竞争中提高自己的能力。更重要的是，这种方法能够有效解决累积误差问题。当AI在生成图像的某个步骤中出现偏差时，强化学习会立即给出反馈，让AI知道这个偏差会如何影响最终结果，从而在后续步骤中进行相应的调整。

为了确保训练效果，研究团队设计了一套综合的奖励系统。这套系统就像是一个多元化的评价标准，从不同角度评估生成图像的质量。

人类偏好评分就像是请来了一位艺术评论家，专门评判图像的美学质量和人类的接受度。统一奖励评分则像是一位全能评委，能够从多个维度综合评价图像质量。文本-图像对齐评分扮演着语文老师的角色，检查生成的图像是否真正符合文字描述的要求。而OCR准确率评分则像是一位严格的语文老师，专门检查图像中文字的准确性和清晰度。

这四个评分维度的结合使用，确保了AI在提高某一方面能力的同时，不会忽视其他重要方面。这就像是培养一个全面发展的学生，不仅要学习成绩好，还要有艺术修养、良好的表达能力和规范的书写习惯。

### 四、训练数据的精心配置

一个优秀的AI系统离不开高质量的训练数据，这就像是要培养一个博学的学者，必须让他阅读大量优秀的书籍。X-Omni的训练过程分为三个阶段，每个阶段都有不同的"课程安排"。

预训练阶段就像是打基础的阶段。研究团队收集了大约200M的高质量图像，这些图像来自COYO-700M、DataComp-1B和LAION-2B等知名数据集。但是，原始数据的质量往往参差不齐，就像是一堆未经整理的书籍，有经典名著，也有质量一般的读物。

为了提高数据质量，研究团队使用了Qwen2.5-VL-72B模型来重新生成图像描述。这就像是请来了一位博学的学者，为每本书写出详细而准确的简介。这种做法大大提高了图像-文本配对的质量，让AI能够更好地理解图像内容与文字描述之间的对应关系。

所有图像都被调整到统一的尺寸规格：短边384像素，长边最大1152像素，同时保持原有的长宽比。这种处理方式就像是给所有的画作配上合适的画框，既保持了原作的完整性，又便于统一处理。最终，这个阶段产生了约600B个多模态标记，为后续训练奠定了坚实基础。

监督微调阶段则像是专业课学习。在这个阶段，研究团队使用了更加精选的高质量数据，包括30K来自BLIP3o-60k的优质数据、30K合成的文本到图像数据，以及从预训练数据集中筛选出的高质量样本。同时，他们还混入了来自LLaVA-NeXt、Cauldron和Cambrian-1的图像理解数据，确保模型在生成能力和理解能力方面都得到均衡发展。

强化学习阶段是最关键的"实战训练"。研究团队精心挑选了180K个提示样本，这些样本涵盖了三个重要类别。首先是80K个来自Midjourney数据集的创意提示，这些提示代表了真实用户的创作需求，能够帮助模型更好地理解和满足用户期望。其次是50K个专门针对文字渲染的提示，这些提示采用了基于文本长度的分桶采样策略，确保模型能够处理各种长度的文字内容。最后是50K个自然图像提示，用于提升模型的整体美学质量和指令遵循能力。

### 五、实验结果的亮眼表现

X-Omni在各项测试中的表现就像是一位全能选手在奥运会上的精彩演出，不仅在传统强项上保持领先，更在过去的弱项上实现了突破性进展。

在文字渲染能力测试中，X-Omni的表现令人印象深刻。在OneIG-Bench测试中，无论是英文还是中文文字渲染，X-Omni都显著超越了其他统一模型。更重要的是，在研究团队专门设计的LongText-Bench测试中，X-Omni展现出了处理长文本的卓越能力。这就像是一位书法家不仅能写出漂亮的单字，还能创作出优美的长篇书法作品。

特别值得注意的是，在中文长文本渲染方面，X-Omni的表现大幅领先于所有其他模型。这对于中文用户来说具有特殊意义，因为中文的字符复杂度远高于英文，对AI系统提出了更高的挑战。X-Omni能够准确渲染包含几十个汉字的复杂文本，这在过去是很难想象的。

在文本到图像生成的综合评测中，X-Omni在DPG-Bench上取得了87.65的综合得分，在统一模型中排名第一。这个成绩不仅超越了其他多模态统一模型，甚至接近了一些专门针对图像生成优化的系统。在GenEval测试中，X-Omni也取得了0.83的优秀得分，证明了其在复杂指令理解和执行方面的强大能力。

更令人惊喜的是，X-Omni在图像理解任务上也保持了竞争力。在多个基准测试中，包括POPE、GQA、MMBench、SEEDBench、DocVQA和OCRBench，X-Omni都取得了与专门的图像理解模型相当甚至更好的成绩。特别是在OCRBench测试中，X-Omni取得了704分的高分，大幅超越了其他统一模型，这直接证明了其在文字识别和理解方面的优势。

### 六、技术创新的深层价值

X-Omni最令人兴奋的发现之一是它不需要依赖分类器自由引导（CFG）就能生成高质量图像。这个发现的意义就像是发现了一条更直接、更高效的路径。

传统的自回归图像生成模型，比如Emu3和Janus-Pro，严重依赖CFG技术来提高生成质量。CFG就像是一个严格的质检员，在生成过程中不断检查和调整，确保最终结果符合要求。虽然这种方法有效，但也带来了额外的计算开销和复杂性。

X-Omni的突破在于，通过强化学习训练后，模型本身就具备了生成高质量图像的能力，不再需要外部的质检员。这就像是培养了一个技艺精湛的工匠，他在工作时本身就能保证产品质量，不需要额外的质量控制步骤。这不仅降低了计算成本，也使得整个系统更加简洁高效。

另一个重要发现是强化学习在图像生成中的效果远超传统的"最优采样"方法。在语言模型中，通过生成多个候选答案然后选择最好的一个（Best-of-N采样），往往能获得比强化学习更好的效果。但在图像生成中，情况正好相反。

这种差异的原因很有趣。语言是序列化的，词与词之间有明确的前后关系，而图像是空间化的，不同区域之间存在复杂的相互影响。强化学习能够从整体角度优化图像生成过程，充分利用图像的空间特性和局部特征之间的相互关系，从而取得更好的效果。

研究团队还发现，强化学习在对齐自回归模型和扩散解码器方面发挥了关键作用。这两个组件原本是分别训练的，就像是两个独立工作的专家，虽然各自都很优秀，但在协作时可能会出现磨合问题。强化学习就像是一个优秀的协调者，帮助这两个组件更好地配合，确保整个系统的协调运作。

### 七、面向未来的技术展望

X-Omni的成功不仅解决了当前的技术难题，更为未来的发展开辟了新的方向。这项研究证明了一个重要观点：技术的价值不在于新旧，而在于是否适合特定的应用场景和是否得到了正确的开发。

在实际应用方面，X-Omni的统一架构带来了显著优势。传统的多模态系统需要维护多个专门的模型，就像是需要雇佣多个不同专业的员工。而X-Omni就像是一个多才多艺的全能员工，既能生成图像又能理解图像，还能处理文本，大大简化了系统的复杂度。

特别是在多轮对话场景中，X-Omni的优势更加明显。当用户需要对生成的图像进行理解和分析时，系统不需要重新提取图像特征，而是可以直接使用生成过程中的语义表示。这就像是一个艺术家在创作完作品后，能够立即对作品进行详细的解读和分析，而不需要重新观察作品。

从研究方法论的角度来看，X-Omni的成功也为其他领域提供了有益启示。强化学习作为一种通用的优化方法，在图像生成中展现出的潜力表明，这种方法可能在其他复杂的生成任务中也能发挥重要作用。

研究团队的工作还揭示了一个重要趋势：未来的AI系统将越来越倾向于统一架构。不同模态之间的界限正在模糊，统一的表示和处理方法将成为主流。这种趋势不仅能提高系统效率，还能促进不同模态之间的知识迁移和能力协同。

不过，X-Omni也还有一些待完善的地方。虽然在文字渲染方面取得了突破，但在处理极其复杂的场景或超长文本时，仍有改进空间。此外，如何进一步降低计算成本、提高生成速度，也是未来需要关注的重点。

### 八、技术背后的深度思考

X-Omni的成功背后体现了科学研究中的一个重要哲学：有时候，最好的解决方案不是发明全新的方法，而是重新审视和改进现有的方法。腾讯混元团队没有盲目跟随主流趋势，而是深入思考问题的本质，最终找到了一条独特而有效的路径。

这种研究思路在AI发展史上并不少见。许多看似过时的技术，在新的环境和条件下往往能焕发出新的生命力。关键在于是否能够识别技术的本质价值，并找到合适的改进方向。

从工程实践的角度来看，X-Omni的统一架构设计也体现了"简单即是美"的理念。虽然多模态AI系统本身很复杂，但通过巧妙的设计，可以用相对简单的架构实现复杂的功能。这种设计哲学不仅有利于系统的维护和扩展，也为未来的创新留下了更多空间。

强化学习在X-Omni中的成功应用，也再次证明了这种学习方法的强大潜力。强化学习最初是为了解决决策问题而发展起来的，但它的应用范围远不止于此。在生成任务中，强化学习能够提供端到端的优化，这是传统监督学习方法难以实现的。

更深层次的思考涉及到AI系统的学习方式。传统的监督学习就像是填鸭式教育，虽然效率高，但缺乏灵活性。而强化学习更像是启发式教育，通过试错和反馈来学习，虽然过程更复杂，但最终效果往往更好。X-Omni的成功表明，在复杂的生成任务中，启发式的学习方法可能更加有效。

从技术生态的角度来看，X-Omni的出现也为整个AI领域带来了新的思考。当大家都在追求最新最热的技术时，是否应该停下来思考一下：哪些"老"技术其实还有潜力可挖？这种反思精神对于技术创新具有重要意义。

说到底，X-Omni的成功不仅仅是一个技术突破，更是一种研究思维的胜利。它告诉我们，创新不一定要推倒重来，有时候最好的创新就是让现有技术发挥出更大的潜力。在AI快速发展的今天，这种思维方式尤其珍贵。

对于普通用户来说，X-Omni意味着更好的AI绘图体验。无论是制作包含文字的海报、设计带有标语的广告，还是生成带有说明文字的信息图表，都将变得更加简单和准确。特别是对于中文用户，这项技术的突破意义更加重大，因为它解决了中文文字渲染这个长期存在的难题。

从产业发展的角度来看，X-Omni为多模态AI应用开辟了新的可能性。统一的架构意味着更低的部署成本和更高的开发效率，这将有利于AI技术的普及和应用。同时，强化学习方法的成功应用也为其他AI任务提供了新的思路和方法。

这项研究最终告诉我们一个道理：在科学技术的世界里，没有绝对的新旧之分，只有是否合适之别。有兴趣深入了解这项研究的读者，可以访问研究团队的项目主页https://x-omni-team.github.io获取更多详细信息，或者查阅发表在arXiv上的完整论文（论文编号：arXiv:2507.22058v1）。

**Q&A**

**Q1：X-Omni和其他AI绘图工具有什么不同？** A：X-Omni最大的特点是能够准确地在图片中渲染文字，特别是中文。传统AI绘图工具经常把文字画得歪歪扭扭或者出现乱码，但X-Omni通过强化学习训练，能够准确生成包含长段文字的图片。此外，它还实现了图像生成和理解的统一，一个系统就能完成多种任务。

**Q2：强化学习在这里起什么作用？为什么这么重要？** A：强化学习就像是给AI请了一个经验丰富的老师，不仅告诉它什么是对的，还会在犯错时及时纠正。传统训练方法容易产生累积误差，就像搭积木时前面出错会影响后面所有步骤。强化学习能够从整体角度优化，让AI学会生成更协调、更准确的图像。

**Q3：普通用户什么时候能用上这种技术？有什么实际用途？** A：虽然论文刚发布，但这种技术已经展现出巨大的应用潜力。未来可以用于制作海报、设计广告、生成信息图表等需要精确文字渲染的场景。特别是对中文用户来说，能够准确生成包含中文的图片将大大便利日常设计工作。具体的产品化时间还需要等待腾讯方面的进一步消息。