卡内基梅隆大学推出Multiverse：让AI模型学会"分身术"的革命性技术

这项由卡内基梅隆大学杨新宇、安宇伟、刘红毅等研究团队与英伟达合作完成的重要研究发表于2025年6月11日，论文编号为arXiv:2506.09991v1。有兴趣深入了解的读者可以通过论文链接https://github.com/Multiverse4FM/Multiverse访问完整资源。这项研究首次实现了让大语言模型能够像人类大脑一样进行"多线程思考"，彻底改变了传统AI只能"一字一句"顺序思考的局限。

想象一下，当你面对一道复杂的数学题时，你的大脑可能会同时考虑多种解题方法：一边用代数方法求解，一边用几何方法验证，最后再把不同思路的结果整合起来。这种"分身术"般的思维方式正是人类智能的精髓所在。然而，传统的AI大语言模型就像一个只会按部就班的学生，必须一个字一个字地按顺序生成回答，完全无法进行这种并行思考。

研究团队发现了一个令人惊讶的现象：尽管现有的AI模型在训练时只学会了顺序思考，但它们生成的长篇推理过程中居然隐藏着大量可以并行处理的思维片段。就好比一个习惯了按顺序说话的人，其实心里早就有了可以同时思考的能力，只是缺乏合适的表达方式。通过分析超过98%的AI推理样本，研究人员发现这些看似顺序的思考过程实际上包含了丰富的并行结构，就像一条看似笔直的河流实际上由多条支流汇聚而成。

基于这个发现，研究团队开发了名为"Multiverse"的全新AI架构。如果把传统AI比作一个只有一根手指的打字员，那么Multiverse就像是拥有十根手指的熟练打字员，能够同时处理多个思维线程。这个系统巧妙地借鉴了计算机科学中著名的MapReduce范式，将复杂问题的解决过程分为三个阶段：首先是"分工阶段"，系统自动判断哪些思维步骤可以并行处理；然后是"并行处理阶段"，多个思维线程同时工作，就像多个厨师同时准备不同的菜品；最后是"整合阶段"，将各个线程的结果无损地合并成最终答案。

研究团队面临的第一个挑战是数据问题。现有的AI训练数据都是顺序形式的，就像所有的菜谱都只教你一步一步做菜，从来没有教过你如何同时准备多道菜。为了解决这个问题，他们开发了一套名为"Multiverse策展人"的自动化工具，能够将传统的顺序推理过程转换为并行结构。这个过程就像一个智能编辑，能够识别出一篇长文章中哪些段落可以重新组织成并行展开的结构，然后自动重写成新的格式。整个转换过程包括五个精心设计的步骤：首先解析原始推理链的结构，然后识别可以并行化的节点，接着重新格式化为并行结构，再填充原始内容，最后添加分工和整合阶段。通过这种方法，研究团队从现有数据中创建了包含1000个高质量样本的"Multiverse-1K"数据集。

第二个挑战是算法设计。传统的注意力机制就像一个近视眼的人，只能看到前面的内容，无法处理并行结构。研究团队设计了"Multiverse注意力"机制，通过巧妙修改注意力掩码和位置编码，让模型既能处理并行推理，又保持训练效率。这种设计的妙处在于它与传统注意力机制保持高度兼容，就像给现有的汽车引擎加装了涡轮增压器，大幅提升性能的同时保持了原有的稳定性。每个并行路径在同一处理块内都从相同位置开始独立执行，而在整合阶段，所有路径会汇聚到相同位置，该位置设定为所有路径达到的最大位置，以避免负相对距离，确保系统的一致性。

第三个挑战是系统实现。传统的AI推理引擎就像单车道的公路，只能让车辆依次通过，无法支持多车道并行通行。研究团队开发了"Multiverse引擎"，基于SGLang框架构建了专门的解释器来支持MapReduce执行。当模型生成特定的控制标签时，引擎能够动态在顺序和并行生成之间切换，就像智能交通管制系统能够根据实时情况调整车道配置。这包括从顺序到并行的转换——将子任务映射到独立分支进行并行执行并共享前缀，以及从并行到顺序的转换——将所有分支的键值状态重新合并为单一序列。

研究团队在三个小时内使用仅1000个样本对32B参数的Qwen-2.5模型进行微调，创造出了Multiverse-32B模型。这就像在短短几个小时内就教会了一个学生全新的思维方式，效率之高令人惊叹。实验结果表明，这个模型在复杂推理任务上的表现显著提升，在AIME24和AIME25数学竞赛中分别取得了54%和46%的成绩，比基础模型提高了23.6%。更重要的是，Multiverse-32B成为了唯一一个在相同规模下能够与顶级顺序生成模型相媲美的开源非自回归模型。

为了验证并行生成的实际效益，研究团队进行了预算控制实验，在相同的上下文长度约束下（相当于相同的生成时间）比较不同模型的表现。结果显示，Multiverse-32B通过在相同时间内生成更多有效内容，平均性能提升了1.87%。这种效率提升来源于其并行生成能力，在不同批次大小下都能实现最高2倍的实际加速。就像一个能够同时思考多个问题的人，在相同时间内能够得出更全面、更准确的答案。

在效率分析中，研究团队深入研究了并行度与延迟之间的关系。通过在不同生成长度（8K、16K、32K）和批次大小（1到128）下的测试，他们发现随着并行度的提高，每个令牌的生成延迟显著降低。实验数据表明，当并行度从1.0提升到1.3时，大多数情况下能够获得平均18.5%的加速。在更高并行度的例子中，系统甚至能够实现2.1倍的加速。更令人印象深刻的是，这种加速效果在不同批次大小下都保持稳定，说明Multiverse的并行生成机制在内存限制的情况下仍然能够线性扩展。

研究团队还提供了两种训练数据的具体例子来展示系统的工作原理。在集体分支的例子中，系统需要计算四个点之间的距离。传统方法需要依次计算每个点到其他点的距离，而Multiverse能够同时计算所有点的距离，每个并行路径负责一个点的计算任务。在选择性分支的例子中，系统探索不同的数学证明方法，每个并行路径尝试一种证明策略，最后综合最有效的证明路径。这种设计使得AI能够像人类数学家一样，同时尝试多种解题思路，然后选择最优方案。

从技术架构的角度来看，Multiverse系统采用了精心设计的控制标签来管理执行流程。整个MapReduce块以标签开始，然后进入分工阶段，使用标签定义总体目标，通过多个嵌套的标签分解子任务。在处理阶段，每个子任务独立地在块中并行执行。一旦所有路径完成，标签触发整合阶段，将独立路径的结果合成为最终连贯输出。这种结构化设计确保了系统能够自动控制何时开始并行处理，何时结束并整合结果。

实验结果不仅证明了Multiverse在性能上的优势，更重要的是展示了其在不同类型推理任务中的普适性。在AIME24数学竞赛中，Multiverse-32B达到了53.8%的正确率，在AIME25中达到了45.8%的正确率，这些成绩都显著超过了基础模型。在MATH500数据集上的91.8%正确率和GPQA Diamond数据集上的60.7%正确率也都表明，这种并行推理能力在各种复杂推理场景中都能发挥作用。更有趣的是，研究团队还测试了不使用"并行思考"提示的Multiverse-32B-zero变体，发现模型仍然能够自动产生一定程度的并行性，说明这种能力已经内化到了模型的推理过程中。

研究团队还进行了大量的消融实验来验证设计选择的合理性。他们发现，在较长的生成序列中，模型表现出较少的并行性，这主要归因于Multiverse-1K数据集中超过16K tokens的训练数据稀缺。这个发现为未来的改进指明了方向：通过增加更长序列的并行训练数据，可以进一步提升模型在复杂长篇推理中的并行能力。同时，他们也验证了数据处理流程的有效性，通过与基于相同顺序数据训练的s1.1-32B模型比较，确认了数据转换过程成功保持了原始数据的质量。

这项研究的理论基础同样令人印象深刻。研究团队在一个合成的NP困难SAT问题上证明了Multiverse是唯一能够在无限资源情况下实现线性时间复杂度的框架。这个理论结果表明，并行推理不仅仅是一个工程优化，而是在某些问题类别上具有根本性的计算优势。传统的顺序推理方法在这类问题上必然面临指数级的时间复杂度，而Multiverse的递归MapReduce结构能够实现最优的时间复杂度。

在实际应用的角度，Multiverse的影响远不止于提升计算效率。它为AI系统处理复杂现实问题提供了新的可能性。想象一个AI医生在诊断疾病时，能够同时考虑多种可能的病因，并行分析不同的检查结果，然后综合所有信息给出诊断建议。或者一个AI律师能够同时从多个法律角度分析案件，并行搜索相关判例，最后整合成完整的法律意见。这种并行推理能力使得AI能够更好地模拟人类专家的思维过程，在面对复杂决策时展现出更高的智能水平。

研究团队还特别关注了Multiverse的开源生态建设。他们不仅开源了完整的模型权重和训练代码，还提供了详细的数据处理流程、完整的评估框架，以及所有的数据策展提示词。这种全方位的开源策略确保了研究社区能够快速复现和改进这项工作。特别值得一提的是，他们提供的五阶段数据转换提示词协议可以应用于任何顺序推理数据，为其他研究者构建自己的并行推理数据集提供了完整的工具链。

从更广阔的视角来看，Multiverse代表了AI发展的一个重要转折点。传统的自回归语言模型虽然在许多任务上表现出色，但其顺序生成的本质限制了它们在复杂推理任务上的表现。Multiverse通过引入原生并行生成能力，为构建更强大的AI推理系统开辟了新的道路。这种方法不仅提升了计算效率，更重要的是让AI能够像人类一样进行多维度思考，这对于实现真正的人工通用智能具有重要意义。

实验结果还揭示了一些有趣的现象。研究团队发现，即使在没有明确并行指令的情况下，经过Multiverse训练的模型也会自动展现出一定程度的并行性。这说明并行推理能力已经深度集成到了模型的内在表示中，而不仅仅是表面的行为模式。这种内在的并行能力可能会随着训练数据的增加和模型规模的扩大而进一步增强，为未来的发展留下了广阔的空间。

在技术实现的细节方面，Multiverse引擎的设计体现了工程实践的巧思。通过利用SGLang框架的连续批处理和基数注意力特性，系统能够动态调整批处理调度和灵活复用KV缓存，这两个特性在MapReduce的分工和整合阶段频繁发生。引擎的解释器能够实时解析模型生成的控制标签，自动管理从顺序到并行再到顺序的复杂状态转换。这种设计使得Multiverse不仅在理论上优雅，在实际部署中也具有很强的实用性。