新加坡国立大学发现AI写作新模式：离散扩散如何让机器像人一样"修改文章"

这项由新加坡国立大学的Runpeng Yu和Qi Li领导的重要研究发表于2025年6月，完整论文可通过arXiv:2506.13759v1获取。他们在这篇综述论文中系统梳理了一个全新的AI语言生成模式——离散扩散大语言模型，这种模式让机器写作从"一口气写完"变成了"反复修改润色"，就像人类真正的写作过程一样。

回想一下你写作文的过程。你可能先写个大概框架，然后反复修改、润色、调整，直到满意为止。而传统的AI写作就像"打字机"，从左到右一个字一个字地输出，一旦写错就无法回头修改。新加坡国立大学的研究团队发现了一种革命性的方法，让AI也能像人类一样"边写边改"，甚至能在写作过程中重新思考整个段落的结构。

这种技术被称为"离散扩散大语言模型"，虽然名字听起来很复杂，但原理其实很有趣。传统AI写作就像在黑板上从左往右写粉笔字，每写一个字就不能再改。而新技术就像用铅笔在草稿纸上写作，可以随时擦掉重写，还能同时修改多个地方。更神奇的是，这种方法让AI的写作速度提高了10倍，同时还能精确控制文章的长度、格式，甚至写作风格。

研究团队通过大量实验证明，这种"修改式写作"的AI在数学推理、代码编程等复杂任务上表现得跟传统AI一样好，有时甚至更优秀。更重要的是，它解决了传统AI的几个大问题：无法并行生成（同时写多个部分）、难以精确控制输出格式、无法根据后文调整前文等。这就像给AI装上了"后悔药"，让它能够反思和优化自己的输出。

一、从"打字机"到"文字处理器"：AI写作方式的根本变革

当我们使用ChatGPT或其他AI助手时，它们的工作方式其实很像古老的打字机。一旦开始"打字"，就只能从左往右依次输出每个字符，即使发现前面写错了也无法回头修改。这种被研究者称为"自回归"的模式，就像一个只会按照剧本逐字逐句背台词的演员，完全无法即兴发挥或临时调整。

新加坡国立大学的研究团队提出的离散扩散模型，则像是从打字机时代跨越到了现代文字处理器时代。在这种新模式下，AI首先生成一个充满"空白"的文档框架，然后通过多轮迭代，逐步填入合适的内容。这个过程就像一个画家先勾勒出画作的轮廓，然后层层添加细节、调整色彩，直到完成最终作品。

具体来说，离散扩散模型的工作流程是这样的：首先，AI会创建一个全是"掩码"（可以理解为空白占位符）的序列，就像一张填空题的试卷。然后在每一轮处理中，AI会预测这些空白处应该填入什么内容，并选择最有把握的几个位置先填上。随着轮次的推进，越来越多的空白被填满，直到生成完整的文本。这种方式的妙处在于，AI可以根据已经填入的内容来调整后续的生成策略，就像写作时会根据前文来调整后文的表达。

更让人惊喜的是，这种方法天然支持并行处理。传统的自回归模型必须等前一个字符生成完毕才能生成下一个，而离散扩散模型可以同时处理多个位置，大大提升了生成效率。研究数据显示，在保持相同质量的前提下，离散扩散模型的推理速度可以比传统方法快10倍，这对于实际应用来说是一个巨大的优势。

此外，这种新方法还带来了前所未有的可控性。由于整个生成过程是迭代式的，我们可以在任何阶段介入并调整生成方向。比如，如果我们希望生成一篇特定长度的文章，或者要求文章遵循某种特定格式，离散扩散模型都能很好地满足这些要求。这就像有了一个听话的助手，不仅写得好，还能完全按照你的要求来调整写作风格和结构。

二、数学原理：让随机变有序的"去噪"艺术

要理解离散扩散模型的工作原理，我们可以把它想象成一个"文字考古学家"的工作过程。考古学家面对一份被泥土掩埋、字迹模糊的古代文献，需要一层层清理，逐步还原出原始内容。离散扩散模型的工作方式与此非常相似。

在数学层面，这个过程被分为两个相反的阶段：加噪过程和去噪过程。加噪过程就像是故意把一篇完好的文章"弄脏"——研究人员会随机地将文章中的一些词汇替换成特殊的"掩码"符号，这些掩码就像是被墨水污染的部分。随着加噪步骤的增加，越来越多的原始词汇被掩码替换，直到整篇文章变成一个完全由掩码组成的序列。

去噪过程则是这个流程的逆向操作。AI模型需要学会如何从这些被"污染"的文本中恢复出原始内容。这个过程就像一个经验丰富的文物修复师，能够根据残存的文字片段和上下文线索，推断出被损坏部分的原始内容。模型通过大量的训练学会了这种"修复"技能，能够预测每个掩码位置最可能的原始词汇。

研究团队在论文中详细描述了几种不同的数学框架来实现这个过程。最基础的方法叫做D3PM（离散去噪扩散概率模型），它为离散数据（如文本）建立了完整的概率框架。简单来说，这个框架定义了如何计算"从当前状态恢复到原始文本的概率"，就像给修复师提供了一套科学的判断标准。

为了让这个过程更加高效，研究人员还开发了一种叫做"重参数化"的技巧。这种方法将复杂的概率计算转换成了相对简单的预测任务，大大降低了训练难度。通过这种转换，原本需要复杂积分计算的概率问题变成了类似"根据上下文填空"的任务，这正是现代神经网络最擅长的事情。

更进一步，一些研究人员提出了连续时间的扩散框架，这种方法不再限制固定的步骤数，而是允许模型在任意时刻进行预测和调整。这就像是给修复师提供了更加灵活的工具，可以根据具体情况决定在某个部分花费更多时间进行精细修复。

这些数学创新不仅保证了模型的理论严谨性，还为实际应用提供了坚实的基础。通过精心设计的损失函数和训练策略，离散扩散模型能够学会在维持文本连贯性的同时，准确预测被掩码的内容，最终实现高质量的文本生成。

三、技术演进：从小规模实验到工业级应用的跨越

离散扩散大语言模型的发展历程就像是一场技术接力赛，每一代研究者都在前人的基础上添砖加瓦，最终构建出了一个令人惊叹的技术大厦。

最早的探索始于2021年，当时研究人员主要专注于验证离散扩散的基本可行性。那个时期的模型还很小，通常只有几亿个参数，主要用来证明"这个想法确实可行"。就像早期的汽车试验，重点不在于跑得多快，而在于证明这个设计方向是正确的。D3PM、RDM等早期模型虽然规模有限，但为后续发展奠定了重要的理论基础。

到了2023年，随着技术的逐步成熟，研究人员开始尝试将离散扩散应用到更大规模的模型上。这个阶段出现了一个重要突破：如何从现有的传统大语言模型"改造"出离散扩散模型。传统方法是从零开始训练，需要大量计算资源和时间。而新的"改造"方法就像是给一辆汽车更换发动机，既保留了原有的"知识储备"，又获得了新的"动力系统"。

DiffuGPT和DiffuLLaMA是这个阶段的代表作品。研究人员发现，可以将已经训练好的GPT或LLaMA模型作为起点，通过巧妙的训练技巧将它们转换成离散扩散模型。这种方法大大降低了训练成本，让更多研究团队能够参与到这个领域的探索中。更重要的是，这种"改造"方法证明了离散扩散模型能够继承传统模型的优秀能力，同时获得新的技能。

2024年成为了离散扩散模型的"爆发年"。这一年出现了多个里程碑式的进展。LLaDA成为首个真正意义上的大规模离散扩散语言模型，在多项基准测试中达到了与传统模型相当的性能。DREAM 7B则在推理能力上取得了重大突破，证明了离散扩散模型不仅能够生成流畅的文本，还能处理复杂的逻辑推理任务。

最激动人心的发展出现在2025年。工业界开始认真对待这项技术，Google推出了Gemini Diffusion，Inception Labs发布了Mercury模型。这些工业级模型不仅在性能上达到了商用标准，更重要的是实现了真正的高速推理——每秒可以生成1000个词汇，这个速度比传统模型快了整整一个数量级。

与此同时，多模态应用也开始蓬勃发展。Dimple、LaViDa、LLaDA-V等模型将离散扩散的优势扩展到了视觉-语言任务中。这些模型能够同时处理图像和文本，生成的内容不仅质量高，而且能够精确控制输出格式，这对于实际应用来说具有重大意义。

更令人兴奋的是统一模型的出现。MMaDA、FUDOKI、Muddit等模型展示了用单一的离散扩散框架同时处理文本、图像等多种模态的可能性。这就像是一个多才多艺的艺术家，既能写诗又能画画，而且两种技能之间还能相互促进。

这个技术演进过程最值得注意的是，每一步发展都建立在扎实的工程创新基础上。从初始化技术、掩码策略到推理优化，研究人员解决了一个又一个实际问题，最终让这项技术从实验室走向了实际应用。

四、训练策略：让AI学会"修改文章"的教学法

教会AI如何进行离散扩散生成，就像培训一个编辑学会修改文章。这个过程需要精心设计的教学策略，确保AI既能掌握基本技能，又能在复杂情况下灵活应对。

最核心的挑战在于，传统的训练方法并不适用于离散扩散模型。传统AI的训练就像教学生按照固定模板写作文，而离散扩散需要AI学会在任意阶段、任意位置进行预测和修改。为了解决这个问题，研究人员开发了一套全新的训练策略。

初始化技术是训练过程的第一个关键。就像教一个新编辑时，最好先让他观摩有经验的编辑如何工作，而不是让他从零开始摸索。研究人员发现，用已经训练好的传统大语言模型来初始化离散扩散模型，能够大大加速学习过程。这种方法的妙处在于，新模型能够继承原模型的语言理解能力，然后专门学习"修改"这项新技能。

具体的做法是进行"权重对齐"。研究人员发现，传统模型预测"下一个词"的能力与离散扩散模型预测"当前掩码位置的词"的能力有很强的相关性。通过巧妙的数学变换，可以将传统模型的预测头调整为适合离散扩散的格式。这就像是将一个习惯从左到右阅读的人训练成能够跳跃式阅读，基础的理解能力是共通的，只需要调整阅读方式。

掩码调度策略是另一个重要的训练技巧。在训练过程中，需要决定在每个时间步掩码多少词汇、掩码哪些位置。最直观的方法是随机掩码，但研究人员发现，根据词汇的"信息量"来调整掩码概率效果更好。高频词（如"的"、"是"）相对容易预测，可以较早被掩码；而关键词汇（如专有名词、动词）则需要更多上下文信息才能准确预测，应该在后期再掩码。

为了提高训练效率，研究人员还开发了"互补掩码"技术。这种方法为每个训练样本创建两个互补的掩码版本，确保每个词汇都有机会被预测到。这就像是设计填空练习时，确保每个重要概念都会在某个练习中被考查到，避免了训练盲区。

另一个创新是"逐步训练"策略。研究人员发现，直接让AI学会完整的离散扩散过程比较困难，更好的方法是先让它学会处理简单的情况（少量掩码），然后逐渐增加难度（更多掩码）。这种渐进式学习法就像教孩子游泳，先在浅水区练习，逐渐适应后再到深水区。

在多模态模型的训练中，研究人员还开发了特殊的技巧。比如在训练视觉-语言模型时，可以先用传统的自回归方法让模型学会处理视觉输入，然后再转换到离散扩散模式。这种"两阶段训练"避免了同时学习两种复杂技能带来的困难，让模型能够更稳定地掌握所需能力。

最新的研究还探索了"强化学习"在离散扩散训练中的应用。LLaDA 1.5项目开发了专门适用于离散扩散的偏好优化算法，能够让模型不仅生成流畅的文本，还能符合人类的偏好。这就像是在掌握基本写作技能后，进一步学习如何写出读者喜欢的内容。

五、推理优化：让AI写作变得既快又好的秘密武器

当离散扩散模型完成训练后，如何让它在实际使用中既快速又高质量地生成内容，就成了另一个关键挑战。这就像训练出了一个优秀的编辑，现在需要为他配备合适的工具和工作流程，让他能够高效地完成各种编辑任务。

最核心的问题是"解掩码策略"，也就是在每一轮迭代中决定哪些位置应该从掩码变成实际词汇。最简单的方法是随机选择，但这显然不够智能。研究人员开发了基于"置信度"的选择策略：模型会为每个掩码位置计算一个置信度分数，表示对预测结果的确信程度，然后优先解掩码那些置信度最高的位置。

这种策略的妙处在于，它让模型能够"先易后难"地生成内容。就像写作文时，我们通常先写出最确定的部分，然后再考虑那些需要仔细斟酌的词句。通过这种方式，模型能够逐步建立起可靠的上下文，为后续的预测提供更好的基础。

为了进一步提升效率，研究人员还开发了"自适应步长"策略。传统方法需要预先设定解掩码的步数，但实际上不同的生成任务需要的步数是不同的。简单的任务可能几步就能完成，而复杂的任务可能需要更多轮迭代。自适应策略让模型能够根据当前的生成质量动态调整，当所有位置的置信度都达到某个阈值时，就可以提前结束生成过程。

"重新掩码"是另一个有趣的技术创新。传统的离散扩散模型中，一旦某个位置被解掩码，就不会再改变。但研究人员发现，允许模型在后续步骤中重新掩码之前的预测，然后重新生成，能够显著提升最终质量。这就像是给编辑提供了"撤销"功能，发现之前的修改不合适时可以重新来过。

在实际应用中，推理速度是一个关键考量。虽然离散扩散模型支持并行生成，但每一步都需要运行完整的神经网络，计算开销仍然很大。为了解决这个问题，研究人员开发了多种缓存技术。最基本的想法是，如果某些词汇在连续几轮中都没有改变，那么它们对应的内部计算结果也可以被缓存和复用。

"预填充"技术是专门为多模态任务设计的优化策略。在处理图像-文本任务时，图像编码的结果通常在整个生成过程中保持不变，因此可以预先计算并缓存。这种技术能够将推理速度提升2-7倍，对于实际应用具有重要意义。

研究人员还探索了各种"引导"技术，用来提升生成内容的质量和可控性。最简单的是"无分类器引导"，通过对比有条件生成和无条件生成的结果，增强模型对输入提示的响应程度。更高级的方法是"奖励模型引导"，使用额外的评估模型实时评估生成质量，并据此调整生成方向。

特别值得一提的是"流匹配"技术，这是离散扩散领域的最新发展。与传统的步进式生成不同，流匹配将整个生成过程建模为一个连续的流动过程，能够实现更平滑、更可控的生成。这种方法不仅提升了生成质量，还为实时交互应用提供了可能。

这些推理优化技术的组合使用，让现代离散扩散模型在保持高质量的同时，实现了与传统模型相当甚至更快的推理速度。正如Google的Gemini Diffusion所展示的，经过充分优化的离散扩散模型能够达到每秒1000词的生成速度，这为大规模商业应用铺平了道路。

六、应用领域：从写作助手到科学发现的全面开花

离散扩散大语言模型的应用潜力远超最初的设想，它不仅在传统的文本生成任务中表现出色，更在许多以前认为不可能的领域开辟了新的可能性。

在文本生成和风格控制方面，离散扩散模型展现出了前所未有的精确控制能力。研究人员开发的StylePTB系统能够精确地改变文本的写作风格，而不影响核心内容。这就像是有了一个能够将同一个故事用不同文体重新讲述的高级编辑，可以轻松地在正式学术语言和通俗日常表达之间切换。PoetryDiffusion项目更是将这种控制能力扩展到了诗歌创作，能够在保持语义完整的同时，精确控制韵律和格律。

文本编辑和总结是另一个充满潜力的应用方向。传统的AI编辑工具往往只能提供简单的建议，而基于离散扩散的EdiText系统能够进行深度的结构性编辑，既能进行大规模的风格调整，又能进行细致的局部优化。CrossMamba项目则将这种能力应用到了长文本摘要上，通过语义感知的噪声调度，能够生成既简洁又全面的摘要。

在情感分析和数据增强领域，离散扩散模型的双向生成能力发挥了独特优势。CDA?框架利用反事实扩散增强技术，能够生成高质量的跨领域情感分析数据，解决了传统方法在数据稀缺情况下的难题。这种技术的价值在于，它不仅能生成数据，还能确保生成的数据具有正确的标签一致性和多样性。

知识推理是离散扩散模型表现特别突出的领域。DoT（思维扩散）项目首次将链式思维推理整合到离散扩散框架中，让AI能够在多个推理步骤中灵活调整思路。这种能力让AI不再局限于线性的推理路径，而是能够像人类一样在思考过程中反复权衡和调整。DiffuCOMET项目则展示了如何利用扩散过程来推理常识知识，生成既符合上下文又多样化的常识推断。

多模态应用是离散扩散模型最令人兴奋的发展方向之一。DiffVLA项目将视觉-语言引导的扩散策略应用到自动驾驶规划中，通过混合稀疏-密集扩散策略，实现了既高效又多样化的驾驶行为生成。UDAN-CLIP项目则将这种技术应用到水下图像增强，通过CLIP引导的损失函数，能够在保持自然先验的同时校正局部退化。

生物学和药物发现领域的应用展现了离散扩散模型的另一面。MolEditRL项目结合离散图扩散模型和强化学习，实现了结构保持的分子编辑，能够在优化分子性质的同时保持结构相似性。CFP-Gen项目更是将扩散语言模型应用到功能蛋白质的从头设计，通过注释引导特征调制和残基控制功能编码，能够创造出功能媲美天然蛋白质的新蛋白质。

TransDLM项目展示了如何将文本引导的多性质分子优化与扩散语言模型结合，通过将分子编码为标准化化学命名法并将性质要求直接嵌入文本描述，实现了隐式的多目标优化。GenMol项目则提出了一个通用的药物发现生成器，通过基于序列连接片段嵌入的非自回归双向解码，避免了词汇顺序约束并提升了采样效率。

最前沿的应用还包括蛋白质序列-结构共设计。DPLM-2项目是一个能够理解和生成蛋白质序列及其三维结构的多模态蛋白质语言模型，通过量化将三维坐标转换为离散词汇，然后在序列和结构数据上联合训练，捕获了复杂的序列-结构关系。

这些应用的成功证明了离散扩散模型不仅仅是一个新的文本生成工具，而是一个能够在多个科学和工程领域带来革命性变化的通用技术框架。随着技术的不断成熟，我们可以期待看到更多创新应用的涌现。

七、技术挑战与未来展望：通往完美AI写作助手的路还有多远

尽管离散扩散大语言模型已经取得了令人瞩目的成就，但要真正实现大规模商业应用，仍然面临着不少挑战。这些挑战就像是通往理想目标路上的一个个关卡，需要研究人员逐一攻克。

训练基础设施是当前最大的瓶颈之一。相比于已经非常成熟的传统大语言模型生态系统，离散扩散模型的训练框架还相对欠缺。传统模型已经有了标准化的训练流程、丰富的预训练模型库和完善的工具链，而离散扩散领域还缺乏这样的基础设施。这就像是一个新兴的制造业，虽然产品设计很先进，但还没有建立起完整的供应链和生产线。

目前大多数离散扩散模型的架构都是从传统自回归模型"借用"而来的，虽然这种做法降低了开发成本，但可能没有充分发挥离散扩散的独特优势。研究人员认为，专门为离散扩散设计的新架构可能会带来更大的性能提升。这需要从根本上重新思考注意力机制、位置编码、多模态融合等核心组件的设计。

推理效率仍然是一个需要持续优化的问题。虽然理论上离散扩散支持并行生成，但实际的计算开销仍然很大。每个生成步骤都需要运行完整的神经网络，而且通常需要多个步骤才能生成高质量的输出。这就像是一个需要反复打磨的工艺品，虽然最终质量很高，但制作过程相对耗时。

研究人员正在探索多种解决方案。一个重要方向是开发更高效的采样算法，比如"渐进式蒸馏"技术，能够将多步的扩散过程压缩到更少的步骤中。另一个方向是设计专门的硬件架构，针对离散扩散的计算模式进行优化。还有研究者在探索"潜在空间扩散"，将扩散过程转移到压缩的表示空间中，从而降低计算复杂度。

安全性和隐私保护是另一个重要考量。离散扩散模型与传统模型面临类似的风险：可能会记忆并重现训练数据中的敏感信息，也可能被恶意使用来生成有害内容。但离散扩散的特殊性质——比如能够在生成过程中动态调整——也带来了新的安全挑战。如何在保持模型能力的同时确保安全性，需要开发新的防护技术。

研究人员正在探索差分隐私训练、正则化技术和内容过滤等方法来解决这些问题。一个有趣的发现是，离散扩散的迭代性质实际上为安全控制提供了新的机会——可以在生成过程的任何阶段介入并调整输出方向，这比传统的"事后过滤"更加有效。

多模态集成是未来发展的一个重要方向。虽然已经有了一些成功的多模态离散扩散模型，但如何更深入地融合不同模态的信息，如何设计统一的表示空间，如何实现真正的跨模态推理，这些问题还需要进一步探索。研究人员设想，未来的模型不仅能够同时处理文本、图像、音频等不同类型的输入，还能够在这些模态之间进行灵活的转换和推理。

个性化和可控性是用户体验的关键。虽然离散扩散模型在输出控制方面已经展现出了优势，但如何让模型更好地理解和满足个人用户的偏好，如何实现更精细的风格控制，这些都是需要解决的问题。未来的研究可能会朝着"可编程的创意助手"方向发展，用户不仅能够指定想要的内容类型，还能够精确控制生成过程的每个细节。

长期来看，离散扩散模型可能会与其他AI技术结合，形成更强大的混合系统。比如，可以将离散扩散的精细控制能力与强化学习的目标优化能力结合，创建能够持续学习和改进的智能系统。也可以与符号推理系统结合，实现既有创造性又有逻辑性的AI助手。

随着技术的不断进步，离散扩散大语言模型有望在更多领域发挥作用。从个人写作助手到科学研究工具，从创意内容生成到专业文档处理，这种技术正在重新定义我们与AI协作的方式。虽然前路还有挑战，但已有的成果让我们有理由对这个充满潜力的技术方向保持乐观。

说到底，离散扩散大语言模型代表了AI发展的一个重要转折点。它不仅仅是技术上的创新，更重要的是，它让AI的行为模式更接近人类的思维方式——能够反思、修改、优化。这种"更像人"的AI，或许正是我们一直在寻找的理想智能助手的雏形。随着研究的深入和技术的成熟，我们有理由期待一个AI能够真正理解和协助人类创造性工作的未来。

Q&A

Q1：离散扩散模型和ChatGPT这样的传统AI有什么本质区别？ A：传统AI像打字机一样从左到右逐字生成，无法回头修改；离散扩散模型则像用文字处理器写作，可以先生成框架再反复修改润色。这种"边写边改"的方式让AI生成速度提高10倍，还能精确控制输出格式和风格。

Q2：离散扩散模型会完全取代现在的ChatGPT吗？ A：目前不会完全取代，两种技术各有优势。传统模型更适合对话交互，离散扩散模型更适合需要精确控制的创作任务。未来可能会看到两种技术的融合，或者在不同应用场景中分别使用最适合的技术。

Q3：普通用户什么时候能用上离散扩散技术？ A：目前Google已经推出了Gemini Diffusion，一些公司也在开发相关产品。预计在1-2年内，这种技术会逐步集成到各种写作工具、内容创作平台中。用户可能不会直接感知到技术差异，但会体验到更快的生成速度和更精确的控制能力。