中国人民大学、字节跳动联合出品：让AI"双眼"读文字，扩散模型首次在8B规模正面叫板自回归巨头

这项由中国人民大学高岭人工智能学院与字节跳动Seed联合开展的研究，以预印本论文形式发表于2026年6月，编号为arXiv:2606.25331，有兴趣深入了解的读者可以通过该编号查询完整论文。

当前主流的大型语言模型（也就是我们常说的"大模型"，比如GPT系列、LLaMA系列），几乎清一色采用同一种工作方式——从左到右，一个字一个字地预测下一个词，就像一个人阅读时眼睛只能往右扫，绝不能往左回头看。这种方式叫做"自回归"。研究团队提出的iLLaDA，则走了一条截然不同的路：它用的是"扩散"方式，并且拥有真正的"双眼"——可以同时看到句子的左边和右边，即所谓的全双向注意力机制。

这听起来只是技术路线的细微差别，但背后的含义却相当深远。过去很多人认为，只有自回归模型才能真正学会语言、真正有逻辑推理能力。iLLaDA的前身LLaDA在2024年已经初步打破了这个偏见，但性能与顶级自回归模型相比还有不小的差距。iLLaDA的任务，就是把这个差距彻底拉近，甚至在部分能力上实现反超。

研究结果颇为亮眼：与上一代LLaDA相比，iLLaDA的基础版在综合推理测试BBH上提升了整整21.6分，在常识推理测试ARC-Challenge上提升了14.9分；指令微调版（也就是经过对话训练的版本）在数学测试MATH上提升了14.5分，在代码生成测试HumanEval上提升了16.5分。更重要的是，iLLaDA的基础版在平均分上已经能够与Qwen2.5 7B这样的强力自回归模型持平，甚至在部分测试上超越了它。

---

一、一个关于"填空"的故事：什么是扩散语言模型

要理解iLLaDA的核心思路，可以用语文课上的"完形填空"来打比方。自回归模型做的事情，像是让你从头到尾依次填写一篇文章，每填一个空，才能接着填下一个空，中间不能跳跃，也不能回头改。而扩散模型的做法截然不同——它先把一篇文章里的很多词语全部遮住，变成"___"，然后让模型同时看着所有的上下文，把所有空填上。

具体来说，iLLaDA在训练时，会随机地把句子里一部分词语替换成特殊的"遮罩"标记（可以理解为"空格"），然后要求模型根据剩余的可见词语，把所有被遮住的词语猜出来。遮住的比例是随机的，有时候只遮一点点，有时候几乎全遮，这让模型必须学会在各种信息量的情况下都能理解上下文。这个过程就是所谓的"掩码扩散"训练目标。

与BERT那种固定遮住15%词语的做法不同，iLLaDA的遮罩比例是随机均匀抽取的，这使得训练目标在数学上等价于对模型生成分布的负对数似然上界——换句话说，这是一个有理论保障的概率学习框架，而不只是一个启发式的技巧。

全双向注意力是另一个关键。自回归模型每次预测第N个词时，只能看到前N-1个词，右边的词是被遮住的。而iLLaDA每次做填空时，可以同时看到句子里所有未被遮住的词，不管它们在左边还是右边。这就像做完形填空时，你可以先读完整篇文章再填空，而不是只看填空之前的内容就立刻作答。

---

二、精心设计的"身体"：iLLaDA的模型架构

iLLaDA的整体骨架是一个密集型Transformer，这是当前大模型中最主流的结构。与前代LLaDA相比，研究团队在架构上做了几处有针对性的调整。

首先是"分组查询注意力"（GQA）的引入。在Transformer里，有一种叫做"注意力头"的机制，负责让模型在处理每个词时，决定应该重点关注句子中的哪些其他词。传统做法是每个注意力头都有自己独立的"记忆本"（即Key和Value矩阵），这样虽然灵活，但非常占内存。分组查询注意力的做法是让多个注意力头共用同一个"记忆本"，大大减少了内存占用。iLLaDA有32个注意力头，但Key/Value头只有8个，而LLaDA是32个注意力头对应32个Key/Value头。这一改动为未来可能的"缓存加速推理"打下了基础——因为已经有研究者在探索为扩散模型设计类似于自回归模型KV缓存的加速机制，GQA在这种机制下能节省大量显存。

其次，iLLaDA将输入嵌入层和输出层（LM-head）绑定为同一组参数。这相当于模型的"词汇理解"和"词汇输出"共用同一套字典，减少了大约6000万个参数。iLLaDA的总参数量为76.2亿，其中非嵌入参数为69.8亿，与LLaDA的80.2亿总参数相比更加精简，但实际发挥语言理解和生成能力的核心参数数量相同。

在其他架构细节上，iLLaDA使用了RMSNorm（一种更高效的归一化方式）、SwiGLU激活函数、旋转位置编码（RoPE），并且不使用注意力或MLP层的偏置项，这些都是当前工业界训练大模型时经过充分验证的标准配置。词表从LLaDA的126,464个词扩展到了155,136个词，最大序列长度从4096翻倍到了8192。

---

三、"喂饱"模型的12万亿字：预训练阶段的升级

如果说模型架构是iLLaDA的"骨架"，那么预训练数据就是它的"营养"。iLLaDA将预训练规模从LLaDA的2.3万亿词符（token）大幅扩展到12万亿，相当于增加了超过五倍的阅读量。

训练时，研究团队采用了几个工程上的巧思。整个训练以8192个词符为最大序列长度，每次处理一批文本。为了让模型不只会处理固定长度的文本，研究团队受到随机长度掩码扩散训练思路的启发，以30%的概率将一个8192长度的序列随机切成两段，强迫模型学会处理不同长度的输入。多个不同长度的样本被打包进同一个批次，通过一个基于FlashAttention的变长注意力内核（利用累积序列偏移而非补零填充的方式）来高效处理，避免了因填充无效词符而浪费算力。

学习率的调度策略也经过了专门设计。训练初期，学习率从零线性爬升到2×10??，之后保持恒定。研究团队在实际训练中观察到，当预训练损失停止下降时，切换到余弦衰减调度（最低学习率降至5×10??），损失随后继续改善。这种"发现瓶颈、主动调整"的策略，体现了大规模训练中对模型状态的细心观察。优化器使用AdamW，权重衰减设为0.1。

---

四、从"通才"到"专才"：指令微调阶段的新思路

预训练结束后，模型拥有了广博的语言知识，但还不擅长按照人类指令做事。这一步叫做"指令微调"（SFT，监督微调），相当于让一个博学多才的学者参加专门的职业培训，学会怎么回答问题、怎么完成任务。

传统的扩散模型指令微调方式是：把问题和回答拼在一起，只在"回答"部分打上遮罩（填空），"问题"部分保持可见。这种做法直觉上很合理，但在实现上需要对每个样本单独确定回答的长度，并且在一个批次内把所有短回答补零到最长回答的长度，造成了大量计算浪费。

iLLaDA采用了一种更简洁的替代方案。研究团队把所有的指令样本（问题+回答+结束符）连成一个大型语料库，然后像预训练时一样，每次随机截取8192个词符的训练片段，对整段文字（包括问题部分、回答部分和结束符）随机打遮罩，再用同样的训练目标优化模型。这意味着模型需要学会预测被遮住的问题、被遮住的回答，乃至被遮住的结束符，全部一视同仁。这种方式天然支持了变长生成，也省去了补零对齐的麻烦。

iLLaDA的指令微调语料库约有250亿词符，训练进行了12个周期（epoch）。根据对训练周期数量的消融实验，模型的性能随着训练周期的增加而持续提升，在GSM8K、MATH和MMLU-Pro三个测试上均表现出单调递增的趋势，即便训练到第12个周期仍未出现明显的性能下滑，这说明对于扩散语言模型而言，反复训练同一份数据并不会像自回归模型那样迅速过拟合。这与近期一些研究的发现一致——扩散语言模型在数据有限的情况下，具有更强的"重复学习"能力，能从同样的数据中榨取出更多的学习信号。

微调阶段的学习率策略是：先线性爬升到5×10??，保持一段时间，再在最后10%的训练步骤内线性衰减到5×10??。

---

五、"填空测验"和"自由作文"：推理时的两种生成模式

训练完成后，模型需要面对实际使用场景，这涉及到如何生成答案的问题。iLLaDA提供了两种生成模式，对应不同的任务类型。

针对"选择题"类型的任务（比如很多常识测试、知识测试），研究团队设计了一种叫做"置信度打分"的评分策略。传统做法是用模型计算每个选项的对数似然（即模型认为这个选项出现的概率），然后选得分最高的。但研究团队发现，有一种更符合扩散模型工作方式的打分法效果更好。

置信度打分的具体过程类似于一个"逐步揭晓"的猜谜游戏：对于一个候选答案（比如选项A的文字内容），先把它全部遮住，让模型同时看着题目和所有遮住的答案文字，找出模型"最有把握"的那个位置（即模型给出最高概率的那个被遮位置），把那个位置的正确词语揭开，记录下模型的置信度得分；然后在剩余仍被遮住的位置中，再次找出模型最有把握的位置，揭开并记录；如此反复，直到所有位置都被揭开。把每一步揭开时模型的对数置信度求和，就得到了这个候选答案的最终得分。得分最高的选项就是模型的选择。

实验证明，这种置信度打分比直接用似然打分更准确。在PIQA测试上，置信度打分的准确率比似然打分高1.3分；在HellaSwag测试上高出2.3分；在ARC-Challenge上高出0.6分。直觉上可以这样理解：置信度打分让模型按照自己最擅长的方式（从最有把握的地方开始，逐步填空）来评估答案，而不是强迫它按照线性顺序计算每个词的概率，因此更能发挥扩散模型双向注意力的优势。

针对"开放式生成"任务（比如回答数学题、写代码），iLLaDA采用"变长块生成"策略。给定一个问题，模型在问题后面附加一批全部被遮住的"空格"，然后运行扩散采样过程：每一步，模型同时预测所有空格位置的词，然后把最有把握的预测"固定"下来，把较不确定的位置重新遮住（即LLaDA和MaskGIT中的"低置信度重遮罩"策略），再进行下一步预测。当这一批空格全部被填满后，如果其中出现了结束符，就停止生成；否则再附加一批新的空格，继续生成，直到达到最大生成长度。这种"逐块生成"的方式让模型可以生成任意长度的回答，不需要预先指定回答的长度。

---

六、成绩单亮相：与其他模型的全面对比

研究团队在一套覆盖通用能力、数学推理和代码生成的标准测试集上，对iLLaDA与几个代表性模型进行了系统比较。被比较的模型包括：LLaDA 8B（iLLaDA的前代，纯扩散训练，使用2.3万亿词符）、Dream 7B（另一个扩散模型，但它是在Qwen2.5 7B的基础上用0.6万亿词符进行扩散微调而来，因此天然享有Qwen2.5的18万亿词符预训练优势）、以及Qwen2.5 7B（顶级自回归模型，使用18万亿词符预训练）。

在基础模型对比方面，iLLaDA在MMLU（综合知识问答）上达到74.8分，远高于LLaDA的65.9分和Dream的69.5分，也超过了Qwen2.5 7B的71.9分。在BBH（复杂推理）上，iLLaDA达到71.3分，比LLaDA高出21.6分，比Dream高出13.4分，也超过Qwen2.5 7B的63.9分。在ARC-Challenge（科学常识推理）上，iLLaDA以60.8分位居第一，超过LLaDA的45.9分、Dream的59.8分和Qwen2.5 7B的51.5分。在数学测试GSM8K上，iLLaDA以81.9分领先于LLaDA的70.3分和Dream的77.2分，也超越Qwen2.5 7B的78.9分。代码生成方面，HumanEval上Dream 7B以57.9分领先，iLLaDA得50分，Qwen2.5 7B得56.7分；MBPP上Qwen2.5 7B以63.6分领先，iLLaDA得57.8分。综合平均分上，iLLaDA以63.9分位居第一，超过Qwen2.5 7B的63.3分、Dream的61.4分和LLaDA的51.1分。

在指令微调模型对比方面，iLLaDA在大多数测试上继续超越LLaDA和Dream。MMLU-Redux上，iLLaDA以76.4分超过LLaDA的68.9分和Dream的76.3分，接近Qwen2.5 7B Instruct的75.7分。MATH上，iLLaDA以56.7分大幅超越LLaDA的42.2分和Dream的39.2分，但与Qwen2.5 7B Instruct的75.5分仍有差距。HumanEval上，iLLaDA以65.9分超越LLaDA的49.4分和Dream的55.5分，但Qwen2.5 7B Instruct以84.8分仍遥遥领先。综合平均分上，iLLaDA-Instruct以67.1分领先于LLaDA的54.5分和Dream的60.2分，但与Qwen2.5 7B Instruct的77.1分还有约10分的差距。

研究团队认为，iLLaDA-Instruct与Qwen2.5 Instruct之间的差距，很可能主要来源于Qwen2.5在SFT之后还额外进行了强化学习对齐（RLHF等），而iLLaDA目前尚未进行这一步。考虑到基础模型已经与Qwen2.5 7B持平，研究团队对强化学习对齐能进一步缩小甚至消除这一差距持乐观态度，并将其列为未来工作的重点方向。

---

七、还有什么没解决：坦诚的局限与未来方向

研究团队在论文中坦率地指出了两点主要局限。

第一，iLLaDA目前没有进行强化学习对齐。Qwen2.5 Instruct在SFT之后还使用了基于人类反馈的强化学习（以及更新的算法变体）来进一步对齐模型行为，这对数学推理和代码生成等能力有显著提升。针对掩码扩散语言模型的强化学习方法已经有了一些初步研究成果，包括VRPO、diffu-GRPO、MDPO和ESPO等，这些方法可以直接迁移到iLLaDA上，有望进一步释放其潜力。

第二，研究规模受限于计算资源，目前仅探索了8B参数规模，没有进行更大规模的实验。研究团队将计算资源主要投入到了12万亿词符的预训练上，因此没有提供与自回归模型完全公平的算力控制对比。更大规模的扩散语言模型能否继续保持竞争力，是一个开放的问题，也是研究团队希望在未来探索的方向。

此外，论文还提到了一个有趣的工程细节：在实际使用iLLaDA-Instruct时，研究团队发现模型在某些困难问题上会出现"推理循环"——模型会反复产生"等一下，让我再检查一遍"之类的短语，却始终无法给出最终答案。研究团队将这一现象归因于SFT语料库中包含了一些由推理模型生成的结构化思维链样本，模型可能在这些样本上过度学习了"持续思考"的模式。针对这一问题，他们采用了一个工程解决方案：随着生成长度的增加，逐渐提高模型输出"</think>"（停止思考标记）的概率，鼓励模型及时收束推理过程并给出答案。

---

说到底，iLLaDA这项工作最有价值的地方，不只是它在各个测试榜单上刷新了扩散语言模型的最好成绩，而是它用一份详尽的实验记录证明了：全双向扩散训练从零开始，是一条真实可行的、通向强大语言模型的路。这条路不依赖于自回归框架，不依赖于因果注意力，却同样能学会知识、推理和代码生成。

对于普通用户而言，这意味着未来的AI助手可能不再只有一种工作方式，而会有多种不同架构的模型百花齐放，在不同任务上各有所长。扩散语言模型在双向推理、长程规划等场景下已经显示出自回归模型难以企及的优势，随着强化学习对齐和更大规模训练的加入，这一技术路线的上限仍有很大的探索空间。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.25331查阅完整论文，代码和模型权重也已在GitHub上公开，地址为ML-GSAI/LLaDA仓库。

---

Q&A

Q1：iLLaDA和GPT这类自回归模型的本质区别是什么？

A：自回归模型（如GPT）生成文字时只能从左到右逐词预测，每次只能看左边已有的内容。iLLaDA是掩码扩散模型，训练时会随机遮住句子里的词语，让模型同时利用左右两侧的上下文来填空，拥有真正的双向理解能力。生成时也是以"批量填空"的方式产生文字，而非逐字输出。

Q2：iLLaDA的指令微调为什么要训练12个周期？普通模型不会过拟合吗？

A：iLLaDA的实验结果显示，随着训练周期从3增加到12，模型在GSM8K、MATH、MMLU-Pro上的表现持续提升，未见明显下滑。这与近期研究发现的"扩散语言模型对重复训练数据的利用效率更高"一致——掩码扩散的随机性使得每次训练同一句话时，遮住的位置不同，相当于模型每次看到的是不同的"填空题"，因此不容易过拟合。

Q3：iLLaDA的置信度打分在选择题上为什么比直接算概率更准？

A：传统似然打分要求模型按照固定顺序逐词计算概率，不符合扩散模型的工作方式。置信度打分让模型先从自己最有把握的位置开始填空，再逐步处理不确定的位置，这与扩散模型在生成时的自然流程一致。在PIQA、ARC-Challenge、HellaSwag三个测试上，置信度打分分别比似然打分高1.3、0.6、2.3分。