哈工大与华为联手打造的"多模态魔法师"：ILLUME-X如何让AI同时读懂图文、创作图文？

这项由哈尔滨工业大学、华为诺亚方舟实验室及南开大学联合开展的研究，以预印本形式于2026年6月29日发布在arXiv平台，编号为arXiv:2606.30054。感兴趣的读者可通过该编号检索完整论文。

日常生活中，我们早已习惯了图文并茂的表达方式。一本菜谱里，每个步骤配上一张图；一本绘本里，每段故事配上一幅画；一篇教程里，文字和图片交替出现，帮助你一步步完成操作。这种"图文穿插"的叙事方式，对人类来说再自然不过，但对AI来说，却是一道难以逾越的门槛。

目前，大多数AI要么擅长"看图说话"——给它一张图，它能描述图里的内容；要么擅长"文生图"——给它一段文字，它能画出对应的图像。但如果你对AI说："给我讲一个五章节的故事，每章配一张图，而且图与图之间人物形象要保持一致，故事情节也要连贯"，绝大多数AI都会在这里卡壳。

这个团队研发的ILLUME-X，正是为了解决这个问题而生的。它的核心能力是"自由形式的图文交织生成"——不限定输入或输出的顺序，无论是先文后图、先图后文，还是图文随意穿插，ILLUME-X都能理解并生成，就像一位既能写作又能绘画的全能创作者，随时切换角色，保持整体叙事的连贯性。

一、为什么"图文同时生成"比想象中难得多

要理解ILLUME-X的突破，先得明白问题的根源在哪里。

把AI的能力比作一个厨师的技能。如果这位厨师只学过中餐，你让他做意大利面，他可能做不好；如果他只会炒菜，你让他烤面包，他也会犯难。现有的AI大多是这种"专科厨师"——要么专精于理解视觉内容，要么专精于生成视觉内容，极少有能在两者之间自如切换，并且同时生成文字和图像序列的。

更难的挑战在于"穿插"这两个字。不是简单地生成一张图、再写一段话，而是要让生成的第三张图记住第一张图里的人物长什么样，要让第五段文字和第三段文字在逻辑上保持因果关系。这要求AI在生成内容的过程中，始终保持一条贯穿全局的"记忆线"，而不是每次生成都从零开始。

目前已有一些研究在探索这个方向。一类做法是让AI把文字和图像都当成"词语"来处理，一个词一个词地生成，就像写文章一样顺序产出图文混合内容，代表作有Emu系列和Chameleon等模型。另一类做法是把擅长生成高质量图像的"扩散模型"（一种专门的图像生成技术，原理是从噪声中逐步"雕刻"出清晰图像）与擅长处理语言的大模型结合起来，代表作有Transfusion、Show-o、BAGEL等。然而，这些方法大多缺乏系统性的评测，也没有真正在"自由形式的N输入到M输出"这种最复杂的场景下验证过效果。ILLUME-X的出现，正是为了填补这个空白。

二、ILLUME-X的"身体结构"：一个共用大脑的双眼双手系统

要理解ILLUME-X是如何工作的，可以把它想象成一个经过特殊训练的全能助手，这个助手拥有两套眼睛、一个共用大脑、两双手。

两套眼睛分别负责不同层次的"看"。第一套眼睛叫ViT编码器，专门提取图像的语义信息，也就是"这张图在讲什么"——图里有一只猫、猫在椅子上、猫是橙色的。第二套眼睛叫VAE编码器，专门捕捉图像的低层次视觉细节，也就是"这张图长什么样"——纹理、颜色的细微渐变、光影效果。两套眼睛各司其职，共同给大脑提供丰富的视觉信息。

共用大脑是一个基于Transformer架构的解码器，可以简单理解为：一个能够处理超长混合序列的超级记忆体。它遵循MoT（Mixture of Transformers）设计思路——所有模块共享同一套注意力机制，但对文字和图像分别使用不同的"处理通道"（专业术语是QKV投影和FFN，可以理解为大脑里处理不同信息的专属神经回路）。这样既保证了文字和图像信息能够相互影响、共同理解，又避免了两种信息相互干扰。

为了让这个大脑更稳定、更高效，研究团队还在其中内置了几项"稳定器"：RMSNorm负责让各层信号保持在合理范围内，防止信息在传递过程中失真；QK-Norm负责让注意力计算过程中的梯度更稳定，避免训练崩溃；SwiGLU是一种激活函数，可以理解为让神经元"开关"更灵活；RoPE是一种位置编码方式，让模型知道序列里每个元素的位置；Grouped-Query Attention则是一种内存优化技术，降低了推理时的计算压力。

两双手分别负责两种不同的"输出"。生成文字时，模型用一种叫交叉熵损失的方式训练，确保每个字词的预测都尽量准确。生成图像时，模型用一种叫整流流（Rectified Flow）的均方误差损失来训练，这是目前生成高质量图像的主流技术之一，原理是让模型学会从随机噪声出发，一步步修正，最终"雕刻"出清晰的图像。

三、图文穿插时的"注意力规则"：谁可以看谁

一个容易被忽视但极其关键的设计，是ILLUME-X处理长序列时的注意力机制。

当模型生成一段图文交织的内容时，序列里有文字词语、有视觉特征、还有几个特殊的"路标词"——BOI（图像开始）、EOI（图像结束）和EOS（序列结束）。这些路标词就像书里的章节分隔符，告诉模型"这里一段图像开始了"或"这段图像到这里结束"。

在注意力规则上，模型遵循一个"先来先到"的原则：任何位置的词都可以回看它前面出现的所有内容，但不能"偷看"还没生成的未来内容。这是保证自回归（逐步生成）性质的基本要求，文字部分严格遵循这一规则。

图像部分则有所不同：在一张图像的范围内，所有视觉特征可以互相看到彼此（双向注意力），因为一张图的所有区域本来就是同时存在的，没有先后之分。这就好比你在理解一张照片时，不需要从左到右逐像素阅读，而是整体感知。

还有一个细节处理：VAE编码器会同时产生"干净图像特征"和"加噪图像特征"。在生成下一组图像时，为了避免噪声信息干扰判断，模型会对"加噪图像特征"进行遮蔽处理——相当于只让前面图像的"清晰版本"参与后续生成，防止噪声累积导致图像质量越来越差。

四、告别"傻傻分不清"的引导方式：多层分类自由引导

在AI图像生成领域，有一种叫"分类自由引导"（CFG）的技术，可以理解为"调味旋钮"。生成图像时，你可以通过调整这个旋钮，让生成的图像更贴近你的描述。旋钮拧得越大，图像越忠实于文字描述，但可能略显生硬；旋钮不够大，图像可能天马行空，与描述关系不大。

传统图像生成只需要一个旋钮——毕竟条件只有文字描述一种。但在图文穿插生成的场景里，条件变复杂了：既有文字描述（"画一只橙色的猫坐在红色椅子上"），还有参考图像（前面已经生成的图像，提供了视觉风格和具体形象参考）。

ILLUME-X的解决方案是设置两个旋钮：一个叫文字引导系数（γ_txt），控制生成图像对文字描述的服从程度；另一个叫图像引导系数（γ_img），控制生成图像对已有参考图像的继承程度。两个旋钮相互配合，既能保证新图像符合文字要求，又能保证视觉风格和角色形象的跨图一致性。

训练时，研究团队采用三种随机策略：有时同时保留文字和图像条件，有时只去掉文字条件，有时把文字和图像条件都去掉。这种"随机丢失"策略让模型学会了在各种条件组合下都能正常工作，推理时就能灵活调节两个引导系数来提升生成质量。根据消融实验的结果，文字引导系数设为8.0、图像引导系数设为1.0时，模型表现最佳。

五、训练菜谱：分两个阶段"喂"出全能厨师

ILLUME-X的训练分为两个互补的阶段，就像培养一个厨师，先让他精通单个菜系，再让他学会融合创新。

第一阶段叫"情境内生成训练"，专门使用情境图像生成数据集。这个阶段的目标是让模型打好基础——能够根据已有的视觉情境，生成风格连贯的新图像。这就像让厨师先学会做标准菜，不求创新，但求稳定。这个阶段还有一个重要作用：缓解后续训练中"越生成越差"的问题。生成多张连续图像时，模型容易出现"力竭"现象，第一张很好，第二张还行，第三张开始变差。通过情境内生成训练，模型学会了始终保持生成活力。

第二阶段叫"图文交织联合训练"，混入了大量不同类型的数据：图像理解数据、图像生成数据，以及各种图文交织任务数据。这个阶段让模型实现了"跨任务泛化"——不同类型的任务相互促进，理解能力的提升带动生成能力，生成能力的精进又反哺理解能力。就像一位厨师在掌握单个菜系后，开始接触各国料理，最终形成融会贯通的综合厨艺。

六、一百万条训练数据是怎么来的：三条数据制造流水线

ILLUME-X为了解决高质量交织数据稀缺的问题，自建了一套包含约10万条高品质样本的数据集，通过三条并行的数据制造流水线来生产。

第一条流水线从视频中"挖金矿"。视频天然包含了随时间变化的连续视觉信息，正是图文交织数据的理想来源。但直接从视频中抽帧远没那么简单。研究团队设计了一套多区间滑动窗口采样策略：以不同的时间间隔（1秒、3秒、10秒）、不同的窗口大小（2帧、5帧、8帧）批量采样，然后对采样结果进行双阶段筛选。

美学筛选阶段，用拉普拉斯方差（评估图像清晰度）和MANIQA评分（一种无参考图像质量评估指标）来过滤低质量帧，再用Qwen-3-VL-32B这个强大的多模态大模型做高层语义判断，排除内容不完整的帧。运动筛选阶段，用RAFT光流估计算法计算相邻帧之间的运动量，去掉运动量过低（说明场景没变化）或运动方差过低（说明只是镜头平移，缺乏实质动作）的帧，再用DINOv2提取视觉特征，过滤视觉差异太小的冗余帧。

筛选完成后，再用Qwen-3-VL-32B对保留下来的帧进行三个层次的描述：全局描述，概括整段视频序列的叙事主线和因果逻辑；单帧描述，详细记录每帧的颜色、数量、形态、空间关系；跨帧描述，捕捉帧与帧之间的动作变化、表情变化、光线变化等细节。这三个层次的描述共同构成了每条数据样本的文字部分。

第二条流水线叫"多步情境内生成"，利用先进图像生成模型的情境学习能力来自动创建图像序列。具体做法是：先让GPT-5这样的外部大模型扮演"导演"角色，根据一个种子提示词规划出整套内容蓝图，包括全局语义描述、每段文字描述和每张图像描述。有了蓝图之后，第一张图像直接从它的描述生成，随后用Qwen3-VL-32B分析相邻两张图之间需要发生哪些视觉变化，再把这些变化描述连同前一张图一起喂给Gemini 3 Pro这样的情境图像生成器，产出下一张图。如此迭代，形成一套内容连贯、视觉一致的图像序列，配合全程生成的文字描述，构成完整的交织数据样本。

第三条流水线叫"多轮自我反思数据"，灵感来自AI领域的"测试时扩展"和"自我修正"思路。先让模型根据用户指令生成初始版本的图文内容，再用外部强力大模型（Gemini 3 Pro）扮演"评审"角色，检查生成内容哪里不符合指令要求、哪里美学上有缺陷，然后把问题诊断和修改建议反馈给模型，让模型进行多轮迭代修正，最终选出质量最高的版本留存。这种"生成-评审-修正"的闭环流程，确保了数据集中每条样本的高质量。

七、用什么标尺来量：ILScore评估体系的诞生

评测图文交织生成能力本身就是一个难题。现有最常用的评测基准ISG-Bench有一个明显的局限性：它的很多指标高度依赖输出格式，一旦模型输出的结构与预设模板不完全一致，评测机制就会失灵，导致分数严重失真。

为了弥补这个缺陷，研究团队提出了ILScore这套新评估体系。ILScore从四个维度立体评估生成内容的质量，每个维度都通过调用外部多模态大模型来打分，打分范围1到10分。

第一个维度是图文整体准确性，评估生成的文字和图像在整体上是否协调一致、逻辑连贯、回应了用户的实际需求，以及是否有创意和原创性。第二个维度是单张图像准确性，细化到每一张生成图像的质量——核心对象是否正确出现、空间关系是否符合描述、颜色数量等细节是否忠实还原、图像是否清晰符合常识、构图色彩是否具备基本美感。第三个维度是图像序列准确性，专门检验跨图一致性——同一个角色或物体在不同图像里是否保持相同的外貌，整体视觉风格是否统一。第四个维度是文字独立准确性，单独评估生成文字的语言质量，包括语法、表达流畅度、信息完整性和逻辑性，完全不考虑与图像的关系。

这四个维度相互补充，形成对生成质量的全面覆盖：整体层面、单元层面、序列层面和文字层面各有侧重，任何一个维度出问题都能被捕捉到。

八、实验结果：ILLUME-X在对比中表现如何

研究团队在多个维度对ILLUME-X进行了系统测试，结果整体令人振奋，也在某些细节上展现出客观的得失分布。

在ISG-Bench这个业界最常用的交织生成基准测试上，ILLUME-X以6.26的平均分在所有统一模型中排名第一，大幅领先于Show-o（2.33）、Anole（2.81）、MiniGPT-5（2.79）等前辈，与需要多个专用组件协同工作的非统一智能体系统ISG-AGENT打平。这意味着一个统一模型可以达到专用系统级别的性能，这在此前很少被验证。

在研究团队自建的ILScore评测中，ILLUME-X以5.34的总分微弱领先于开源的Emu 3.5（5.33），并显著超过商业闭源模型Gemini 3 Pro（4.84）。从具体任务来看，ILLUME-X在风格迁移、3D场景、图像分解和视觉叙事四个类别中拿到最高分，展示了在结构性复杂任务上的优势。

效率方面的对比同样值得关注。Emu 3.5拥有340亿参数，生成每张图像平均需要约410秒；ILLUME-X采用7B+7B的参数架构（共约140亿参数），生成每张图像只需约81秒。以不足一半的参数量，实现了更高的质量，同时推理速度提升了5倍。

在更基础的文生图任务上，ILLUME-X同样表现出色。在评测语义对齐能力的GenEval基准测试中，ILLUME-X获得0.85的总分，超过了BAGEL（0.82）、OmniGen2（0.80）等模型，在颜色识别（0.92）和计数准确性（0.81）上表现尤其突出。在评测复杂场景合成能力的DPG-Bench基准测试中，ILLUME-X获得86.38的总分，同样排名第一，在属性准确性（94.08）和实体识别（91.80）两个子类别上领先所有对比模型。

当然，研究团队也坦诚地指出了局限性：ILLUME-X目前的训练和评测分辨率固定在512像素，受限于模型架构和上下文长度，扩展到1024像素及以上的高分辨率图文交织生成仍然是一个待解的难题。

九、有了CoT，思考让生成更聪明

在消融实验中，研究团队还测试了一个有趣的组合：让模型在生成最终内容前，先进行"思维链推理"（CoT，Chain of Thought）——用自然语言先把即将生成的图像"想清楚"，比如先描述一下场景、人物状态、光线氛围，再着手生成图像。

这种"先想后做"的策略效果相当明显。在视觉叙事任务上，加入CoT后得分从7.12上升到7.28；在图文补全任务上，从5.69上升到5.91。从直觉上很好理解：让模型先把"要生成什么"想清楚，就像厨师在下锅前先想好配方，生成的内容自然会更有条理、更符合预期。

从定性展示来看，有CoT支持的生成结果，在叙事连贯性和图像与文字的对应关系上都明显更好。以烹饪教程为例，有CoT的版本能够清晰地区分每个步骤的关键视觉变化，生成的图像能准确反映文字描述的操作细节；没有CoT的版本则容易出现步骤混淆或图像描述脱节的情况。

说到底，ILLUME-X做的事情，是把AI从"单科优秀"变成"全科均衡"。它证明了在一个统一框架内，理解和创作可以共存并互相增益，文字和图像可以自由穿插，长序列生成可以保持连贯。更重要的是，它用约140亿参数就做到了这一切，这在工程实践上具有相当的现实意义。

当然，512像素的分辨率上限是当前版本绕不开的约束。未来若想让这套系统处理更高清晰度的图文内容，或者更长的叙事序列，还需要在架构和训练策略上进一步探索。但作为这个方向上系统性最完整的研究之一，ILLUME-X已经完成了一次有价值的里程碑式验证。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.30054查阅完整论文，或访问论文中提供的GitHub仓库获取代码和数据。

---

Q&A

Q1：ILLUME-X和普通的图像生成AI（比如Stable Diffusion）有什么区别？

A：普通图像生成AI（如Stable Diffusion）只能根据文字描述生成单张图像，属于"单向、单输出"模型。ILLUME-X的不同之处在于，它能同时处理多张输入图像和多段文字，并交替生成图文内容。比如给它一张蚂蚁的图和一段故事开头，它能继续创作五个章节，每章配一张风格一致的插图，而且各章节的蚂蚁形象保持连贯。这种"多输入多输出、图文自由穿插"的能力，是ILLUME-X区别于普通图像生成工具的核心。

Q2：ILLUME-X训练用的10万条数据集是从哪里来的？

A：研究团队通过三条并行流水线自建了约10万条数据。第一条从视频中提取关键帧并配上多层次文字描述；第二条用GPT-5规划内容蓝图，再用Gemini 3 Pro逐步生成连续图像序列；第三条让模型生成初稿，再用Gemini 3 Pro担任"评审"，反复修正直到质量达标。三条流水线覆盖了真实视频、合成序列和迭代精修三种数据来源，保证了多样性和质量。

Q3：ILScore和ISG-Bench这两种评测方法有什么本质区别？

A：ISG-Bench是现有常用基准，但它的评分机制严重依赖模型输出的格式是否符合预设模板，格式略有偏差就可能导致评分失效，结果不够客观。ILScore是研究团队提出的新评测体系，通过外部多模态大模型从四个独立维度打分：整体图文一致性、单张图像质量、跨图序列连贯性、文字独立质量。这四个维度各自独立评估，不受输出格式影响，能更全面、更稳健地反映模型的真实能力。