Muon优化器：让AI训练更快更省，Essential AI如何拓展了深度学习的计算-时间边界

革新AI训练方式：Muon优化器的实用效率

2025年5月，由旧金山的Essential AI研究团队开发的Muon优化器在深度学习领域引发了一场小革命。这项研究以《Muon在预训练中的实用效率》(Practical Efficiency of Muon for Pretraining)为题，发表在arXiv上（arXiv:2505.02222v1）。研究展示了Muon如何能够改变大规模AI模型训练的游戏规则，为研究人员和企业提供了更灵活的资源分配选择。

想象一下，你正在烤一个复杂的多层蛋糕。传统方法（AdamW优化器）要求你严格按照固定的温度和时间来烘焙，但新方法（Muon优化器）不仅能让蛋糕更快烤好，还能让你更灵活地调整烤箱温度和烘焙时间，同时确保蛋糕的品质始终如一。这就是Muon优化器带来的革新。

Essential AI的研究人员不仅证明了Muon比传统的AdamW优化器更高效，还彻底改变了我们对训练大规模AI模型时资源分配的理解。更重要的是，他们还介绍了一种名为"望远镜算法"的新方法，可以大幅降低为大模型寻找最佳训练参数的计算成本。

让我们深入了解这项研究如何改变AI训练的未来，以及为什么即使你不是技术专家，也应该关心这一突破。

一、Muon优化器：AI训练的新选择

在AI世界中，优化器就像是训练大脑的教练。过去几年，一个叫做AdamW的教练几乎垄断了市场，因为它能够比其前辈更有效地训练AI模型。但现在，一个名为Muon的新教练出现了，它有可能打破AdamW的统治地位。

Muon其实很简单，它是"二阶优化器"家族中最基础的成员。想象一下学习弹钢琴：一阶方法就像只看音符学习，而二阶方法则同时考虑音符之间的关系，使学习过程更加高效。Muon正是这样工作的，它考虑了模型参数之间的统计依赖关系，从而可以更智能地进行训练。

传统的AdamW就像是经验丰富但方法固定的教练，而Muon则像是一个既有经验又能灵活调整训练方案的新型教练。研究表明，Muon可以在相同的训练时间内达到更好的结果，或者在相同的结果下减少训练时间。

最重要的是，Muon在大批量训练时（相当于同时教很多学生）表现尤为出色。当我们增加批量大小时（比如从教10个学生增加到教100个学生），通常训练效率会下降，但Muon明显比AdamW更能保持训练效率，这意味着它可以更好地利用大规模并行计算资源。

例如，在达到相同训练目标时，如果AdamW需要处理100亿个训练样本，Muon可能只需要处理85-90亿个，节省了10-15%的计算资源。这对于训练动辄需要数百万美元的大型AI模型来说，意味着显著的成本节约。

二、计算-时间权衡：理解训练资源的新视角

传统上，研究人员评估优化器时往往只看单一维度：要么比较相同时间内谁训练得更好，要么比较达到相同效果谁用的计算量更少。但这种方法忽略了现实中最重要的权衡：如何在计算资源（设备数量）和训练时间之间取得平衡。

想象你在组织一场大规模清洁活动。你可以招募很多志愿者同时工作（使用多设备并行计算），这样工作会更快完成，但可能效率会因为协调问题而降低；或者你可以用较少的志愿者，工作可能会更慢完成，但每个人可能效率更高。理想的方案取决于你的具体需求：是否急需完成？资源是否有限？

Essential AI的研究者采用了一种创新的评估方法。他们在二维平面上绘制了"等损失曲线"——展示了达到相同训练目标所需的设备数量和总训练时间之间的关系。曲线越靠近左下角，表示优化器越高效（用更少的设备在更短的时间内达到目标）。

研究表明，Muon的曲线明显比AdamW的更加靠近左下角，意味着它拓展了可能性边界，提供了AdamW无法实现的新选择。例如，如果你有很多设备但时间非常有限，Muon可以让你在几小时内完成AdamW需要几天才能完成的训练任务。

更令人印象深刻的是，随着批量大小增加（使用更多设备），Muon保持效率的能力明显优于AdamW。研究者计算了"令牌比"（达到相同训练效果AdamW需要处理的数据量与Muon相比的比值），发现这个比值在批量增加时不仅不会下降，反而会增加，这意味着Muon在大规模训练场景中的优势更加明显。

三、批量大小的影响：打破传统瓶颈

AI训练中有一个重要概念叫"临界批量大小"，它就像是教室的最佳容量。想象一个老师同时教学生：少数学生时，每增加一个学生，效率几乎不受影响；但超过某个数量（临界点）后，每增加一个学生，整体学习效率就会明显下降。

在AI训练中，增加批量大小（一次处理更多数据）可以加速训练，但超过临界批量大小后，数据效率会下降，需要处理更多数据才能达到相同的训练效果。传统观点认为，这个临界点是制约训练速度的天然瓶颈。

但Essential AI的研究者发现，Muon能够显著提高这个临界点，甚至在远超传统临界批量大小的情况下依然保持良好的数据效率。具体来说，他们发现：

当批量大小增加时，AdamW需要处理的额外数据量迅速增加
而Muon在批量大小增加时，额外数据需求的增长速度明显较慢
对于同样的目标，Muon始终需要比AdamW少10-15%的数据量
这种优势在模型规模从10亿到40亿参数的范围内保持一致

这就像是Muon找到了一种更高效的教学方法，即使面对非常大的班级，也能保持教学质量，而AdamW则在班级扩大后效率明显下降。

对于真实世界的应用，这意味着使用Muon可以更好地利用大规模计算集群，减少训练时间，同时不会显著增加总计算量，从而节省资金并加速创新。

四、选择最佳超参数：望远镜算法

训练AI模型时，设置正确的"超参数"（如学习率、权重衰减等）至关重要，就像烹饪需要设置正确的温度和时间。通常的做法是在小模型上进行多次尝试，找到最佳配置后再应用到大模型上。

但这种方法有个问题：小模型的最佳配置未必适用于大模型。想象你为一个小聚会找到了完美的食谱，但当你需要为500人的婚礼准备同样的菜肴时，简单地按比例增加原料可能会导致灾难性的结果。

幸运的是，有一种叫做"最大更新参数化"（muP）的技术可以解决这个问题。它提供了一套规则，告诉你如何调整超参数，使得在小模型上找到的最佳配置可以有效地迁移到大模型上。这就像是一个魔法公式，告诉你如何精确地将小聚会的食谱调整为婚宴规模。

然而，muP技术在实践中仍然面临两个主要问题：

模型宽度有限导致的误差：理论上，muP在无限宽度的网络上才完全准确，现实中的有限宽度会导致误差。
搜索网格的粒度问题：即使使用muP，在有限的计算预算下，我们也无法尝试所有可能的超参数组合。

Essential AI的研究者提出了一种名为"望远镜算法"的创新方法来解决这些问题。这种方法像是一个不断调整焦距的望远镜，开始时视野广阔但不够清晰，随着观察的深入，逐渐缩小视野但增加清晰度。

具体来说，望远镜算法的工作方式是：

先在最小的模型上进行广泛的超参数搜索
随着模型规模的增加，逐步缩小搜索范围，但增加搜索精度
每次模型宽度翻倍时，搜索空间按特定比例缩小
这样保证了在每个阶段的计算成本大致相同，同时控制总体搜索成本

这种方法极其高效：对于最终模型训练成本为C、宽度为N的情况，超参数搜索只需额外增加O(C log N)的计算成本。对于大型模型，这比传统的网格搜索可以节省50%以上的计算资源。

研究者在最大3.7B参数的模型上验证了这种方法的有效性，证明它不仅适用于AdamW，也适用于Muon优化器，为大模型训练提供了一条高效可行的道路。

五、实验验证：从理论到实践

为了验证Muon的优势，研究团队进行了广泛的实验，涵盖不同模型大小（从1亿到40亿参数）、不同数据类型（从普通文本到代码）以及各种批量大小（从12.8万到1600万）。

他们使用了基于Gemma 3的解码器模型，这是一种现代的transformer架构。为了确保结果的可靠性，他们对每个模型大小都使用了充足的训练数据，远超"Chinchilla最优"标准（这是一个广为接受的关于模型大小与训练数据量的经验法则）。

结果非常明确：在所有测试场景中，Muon始终优于AdamW。即使是在最基础的比较中—相同步数下的训练损失—Muon也始终领先，且这种优势持续到训练结束，没有出现交叉或反转。

更重要的是，当研究者绘制"计算-时间权衡"曲线时，Muon的优势更加明显。在不同的目标任务难度下（从简单的损失目标到复杂的任务），Muon都能提供AdamW无法实现的新选择，特别是在高批量大小（即使用大量计算设备）的情况下。

研究者还发现，Muon与muP超参数传输技术完美兼容，使用望远镜算法的结果非常令人满意。在3.7B参数的模型上，最终训练损失达到了1.61 nats，优于所有较小模型，且损失下降曲线完美符合理论预期。

结论：AI训练的新篇章

Essential AI的这项研究为大规模AI模型训练开辟了新的可能性。通过展示Muon优化器的实际优势，研究者不仅提供了一个AdamW的有力替代品，更重要的是，他们改变了我们思考训练资源分配的方式。

归根结底，这项研究的核心发现是：

Muon比AdamW更高效，在相同的训练效果下可以节省10-15%的数据处理量
Muon在大批量训练时保持效率的能力显著优于AdamW，扩展了可能性边界
结合"望远镜算法"的muP超参数传输可以大幅降低大模型训练的成本和复杂性

对于AI研究者和工业界来说，这意味着可以更高效地利用计算资源，缩短训练时间，降低成本。对于终端用户来说，这可能意味着更快的AI创新速度，更低的使用成本，以及可能更多样化的AI应用。

就像从蒸汽机到内燃机的进步一样，Muon优化器代表了AI训练方法的进化。它可能不会立即改变我们使用AI的方式，但它将大大加速下一代AI模型的开发，让更强大的AI工具更快地进入我们的生活。

有兴趣深入了解的读者可以通过arXiv访问完整论文（arXiv:2505.02222v1），研究团队还承诺将所有实验代码和模型发布在HuggingFace上（https://huggingface.co/EssentialAI）。

想一想：如果AI训练可以更快、更便宜，会出现哪些新的应用场景？这种技术进步会如何影响AI的普及和应用？这些问题值得我们每个人思考，因为AI正以前所未有的速度改变着我们的世界。