对比扩散与自回归语言模型：从文本嵌入角度的深度分析

在2025年5月21日发表于arXiv的一篇最新研究论文中，来自南洋理工大学、耶鲁大学、上海纽约大学以及新加坡阿里巴巴-南洋理工联合研究所的研究团队，包括Siyue Zhang、Yilun Zhao、Liyuan Geng、Arman Cohan、Anh Tuan Luu和Chen Zhao，共同探讨了一个引人深思的问题：在生成文本嵌入（即将文本转换为计算机可理解的数字向量）时，扩散语言模型是否比传统的自回归语言模型更有优势？这项研究为我们提供了全新的视角，论文编号为arXiv:2505.15045v1 [cs.CL]。

想象一下两种阅读方式的区别。传统的自回归语言模型就像我们从左到右阅读一本书，每次只能看到当前位置之前的内容；而扩散语言模型则像是我们可以自由地在书的任何部分来回翻阅，全面理解上下文。这种根本性的差异，可能对文本嵌入的质量产生重大影响。

研究团队提出的核心观点是：基于大型语言模型（LLM）的文本嵌入虽然在一般任务中表现出色，但它们存在一个根本性的缺陷——它们使用的是单向注意力机制，也就是说，它们只能"看到"句子中前面的词，而无法同时考虑后面的内容。这与文本嵌入任务的双向性质不符。相比之下，扩散语言模型天生就采用双向注意力架构，理论上更适合捕捉文本的全局语境。

为了验证这一假设，研究人员开发了名为DIFFEMBED的文本嵌入模型，基于最先进的扩散语言模型DREAM-7B。他们在多种任务上对比了这一模型与传统LLM嵌入模型的表现，结果令人瞩目：在长文档检索任务上，DIFFEMBED比LLM嵌入模型提高了20%的性能；在需要密集推理的检索任务上提高了8%；在遵循指令的检索任务上提高了2%；同时在传统文本嵌入基准测试上也达到了竞争性能。

更重要的是，研究团队通过实验证明，双向注意力确实是处理长文本和复杂内容的关键因素。他们甚至开发了一个名为REASONAUG的新数据集，包含近11,000对逻辑相关的正例和不相关的难例，用于训练模型处理需要密集推理的内容。

这项研究不仅为文本嵌入领域带来了新的技术路径，也为我们理解不同类型语言模型的优缺点提供了宝贵见解。接下来，让我们深入了解这项研究的细节。

一、研究背景：文本嵌入技术的现状与挑战

文本嵌入是自然语言处理的基础任务，它将文本转换为数值向量，使计算机能够理解和处理语言。想象一下，如果我们要教计算机理解"猫"和"狗"这两个词的关系，我们需要将这些词转换为数学上的点，让"猫"和"狗"这两个点在空间中的距离比"猫"和"汽车"的距离更近，因为前者语义更相似。

传统上，研究人员通常使用像BERT和T5这样的双向语言模型来生成文本嵌入。这些模型通过对比学习进行训练，学习将语义相似的文本映射到向量空间中的相近位置。最近几年，随着大型语言模型（LLM）的崛起，许多研究开始尝试将自回归LLM（如Llama3、GPT系列等）应用于文本嵌入任务，并取得了显著的效果提升。

然而，自回归LLM有一个根本性的局限：它们使用的是单向注意力机制。打个比方，这就像是一个人在阅读文章时只能看到当前词之前的内容，而无法预览后面的内容。在实际生成文本时，这种机制是合理的——毕竟我们写作时也是一个词接一个词地写下去。但在理解整段文本的语义时，这种单向性就成了限制。

张思岳博士及其团队指出，这种单向注意力与文本嵌入任务所需的全局上下文理解存在根本性的不匹配。尽管已有研究如Echo Embeddings和LLM2Vec尝试通过不同方法解决这一问题，但这些方法或多或少都存在效率低下或需要额外训练的问题。

二、扩散语言模型：双向注意力的天然优势

扩散语言模型是近年来兴起的一种新型语言模型，它受到了图像生成领域扩散模型的启发。与自回归语言模型不同，扩散语言模型采用了一种全新的生成范式：它们首先将文本"噪声化"（通过随机掩盖一些词），然后学习如何逐步恢复原始文本。

这种方法的关键在于，扩散语言模型在预测被掩盖的词时，可以同时利用该词前后的上下文信息。打个比方，如果句子中"我喜欢吃<掩盖>因为它很甜"，模型可以同时看到"我喜欢吃"和"因为它很甜"这两部分信息，从而更准确地推断出被掩盖的词可能是"苹果"或"香蕉"等水果。

研究团队提出的DIFFEMBED模型就是基于这种扩散语言模型。具体来说，他们使用了DREAM-7B，这是一个经过5800亿标记训练的最先进扩散语言模型。DIFFEMBED的工作原理很直观：它从DREAM-7B中提取最后一层的词表示，然后通过平均池化（mean pooling）将这些表示聚合为一个固定大小的向量，再通过对比学习进一步优化这些向量，使语义相似的文本在向量空间中更接近。

与自回归语言模型相比，扩散语言模型在文本嵌入任务上的天然优势在于： 1. 它们能够同时考虑词的前后上下文，提供更全面的语义理解。 2. 它们的训练目标（恢复被掩盖的词）与文本理解的需求更加匹配。 3. 它们不需要像一些自回归LLM那样进行额外的适应性训练就能用于文本嵌入。

三、实验设计：全面评估扩散嵌入模型的性能

为了全面评估DIFFEMBED的性能，研究团队设计了一系列实验，涵盖四类关键任务：长文档检索、需要密集推理的检索、遵循指令的检索，以及传统文本嵌入任务。这些任务共同构成了一个全面的评估框架，可以从不同角度检验模型的能力。

在模型选择方面，研究团队使用了DREAM-v0-Instruct-7B作为DIFFEMBED的基础模型。为了进行公平比较，他们同时评估了规模相近的自回归模型，包括Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.2和Qwen2.5-7B-Instruct。此外，他们还实现了LLM2Vec方法，这是一种通过额外预训练使自回归LLM能够使用双向注意力的技术。

在训练数据方面，研究团队根据不同任务使用了不同的数据集： - 对于长文档检索和传统文本嵌入任务，他们使用了Public E5数据集的子集。 - 对于需要密集推理的检索任务，他们创建了名为REASONAUG的新数据集。 - 对于遵循指令的检索任务，他们使用了带有指令的MS MARCO数据集子集。

值得特别关注的是REASONAUG数据集的创建过程。由于现有数据集不足以有效支持需要密集推理的检索任务，研究团队使用大型语言模型生成了包含近11,000对样本的新数据集。这些样本包括两类：一类是问题到概念的检索（例如，给定一个数学问题，找出解决该问题所需的定理）；另一类是问题到问题的检索（例如，找出可以用相同定理解决的问题）。这些问题涉及多个领域，从数学和物理定理到编程算法。

四、实验结果：扩散嵌入模型的显著优势

实验结果清晰地表明，基于扩散语言模型的DIFFEMBED在多项任务上都优于传统的自回归LLM嵌入模型。

首先，在长文档检索任务（LONGEMBED基准）上，DIFFEMBED以62.2%的平均分数显著超过了所有自回归模型。特别是在合成测试中，DIFFEMBED在文档长度不超过4096个标记的Passkey检索任务上达到了100%的准确率，在Needle-in-a-haystack检索任务上达到了86.8%的准确率。这些结果表明，即使模型训练时使用的最大输入长度为4096个标记，自回归LLM仍然可能无法有效编码关键信息，而DIFFEMBED则能够很好地处理这一问题。

其次，在需要密集推理的检索任务（BRIGHT基准）上，DIFFEMBED也展现出显著优势。在TheoremQA的定理检索任务上，DIFFEMBED的性能比Qwen2.5高出4.2个百分点（38.9% vs. 34.7%）；在问题检索任务上，差距更是达到了8.1个百分点（48.3% vs. 40.2%）。这表明双向注意力对于理解复杂逻辑、定理和方程是至关重要的。值得注意的是，使用REASONAUG数据集训练的DIFFEMBED在TheoremQA任务上的性能比最先进的推理检索器ReasonIR高出了16.4%。

第三，在遵循指令的检索任务（FOLLOWIR基准）上，DIFFEMBED也展现出与Mistral相当的指令遵循能力（分别为+5.1和+5.7的配对MRR）。研究人员推测，由于这类任务中查询和文档的长度有限且复杂度较低，DIFFEMBED的双向嵌入方法的优势可能受到一定限制。

最后，在传统文本嵌入任务（MTEB基准的15个任务）上，DIFFEMBED的表现与自回归LLM嵌入模型相当。这符合预期，因为大多数传统任务涉及的输入较短且推理要求较低。

五、深入分析：双向注意力的关键作用

为了深入理解双向注意力对于不同模型和任务的重要性，研究团队对Mistral和DIFFEMBED进行了消融实验，比较了使用完全双向（前向和反向）注意力与仅使用单向（前向）注意力时的性能差异。

实验结果揭示了一个显著的发现：当禁用反向注意力时，DIFFEMBED的性能下降幅度远大于Mistral。例如，在TheoremQA的问题检索任务上，DIFFEMBED的性能从48.3%骤降至0.7%（下降47.6个百分点），而Mistral的性能从33.7%降至9.6%（下降24.1个百分点）。这表明DIFFEMBED更加依赖双向上下文，这可能是由于其双向预训练方式。

此外，不同任务对反向注意力的敏感度也存在差异。在LeetCode任务上，禁用反向注意力后性能相对稳定（甚至在Mistral上有所增加），而在TheoremQA任务上性能则显著下降。这表明双向注意力对于逻辑推理任务（如TheoremQA）至关重要，这也解释了DIFFEMBED在TheoT和TheoQ任务上的显著性能优势。

六、讨论与分析：更深入的理解

研究团队还对一系列问题进行了深入分析，帮助我们更好地理解实验结果背后的原因。

首先，他们探讨了为什么通用嵌入模型在需要密集推理的检索任务上表现不佳。通过对REASONAUG文档嵌入的t-SNE可视化分析，他们发现E5-Mistral的嵌入更加分散，缺乏清晰的聚类边界。案例研究还表明，E5-Mistral在匹配问题时往往依赖于表面的词汇线索（如精确数字或关键词）和浅层语义模式，而非深层理解概念关系。

其次，通过分析在BRIGHT的LeetCode和AoPS任务上的表现，研究团队发现这些任务中的金标准注释和语料库存在明显的噪声，这可能影响了评估结果的可靠性。例如，LeetCode子集中的"Trapping Rain Water I"和"Trapping Rain Water II"被标记为相关，但它们实际上需要完全不同的算法解决。

最后，研究团队还探讨了随着训练数据集规模增加，性能差距是否会缩小的问题。结果表明，即使在训练规模从2k增加到10k的范围内，DIFFEMBED和Qwen2.5之间的性能差距仍然显著，这表明基于LLM的模型可能需要大量数据才能学习有效的双向注意力，而DIFFEMBED则天生具备这一优势。

七、研究局限性与未来方向

尽管这项研究取得了显著成果，但研究团队也坦承了一些局限性。首先，他们只评估了最先进的扩散语言模型DREAM，而没有测试其他扩散模型如LLaDA，后者由于生成能力和推理能力相对较弱，预计在文本嵌入性能上也会较差。其次，由于资源限制，他们将训练规模限制在2万个样本以内，而更大规模的实验可能会提供更多见解。此外，在REASONAUG数据集中，尽管经过质量检查，但可能仍存在一些不相关或不正确的文档。

展望未来，这项研究为文本嵌入领域开辟了一条新的技术路径。随着扩散语言模型的进一步发展和规模化，它们在文本嵌入和其他自然语言处理任务上的潜力可能会进一步显现。研究团队希望这项工作能为文本嵌入社区和扩散语言模型的发展提供有意义的见解。

总的来说，这项研究不仅展示了扩散语言模型在文本嵌入任务上的优势，也深入分析了双向注意力对于捕捉长文本和复杂内容的全局上下文的关键作用。它为我们理解不同类型语言模型的优缺点提供了宝贵见解，也为未来的研究指明了方向。对于想要深入了解这项研究的读者，可以通过arXiv:2505.15045v1 [cs.CL]访问完整论文。