不是所有模型都适合专家卸载：揭秘混合专家模型的局部路由一致性

这项研究是由复旦大学的梁景聪、南加州大学的王思远、华为技术有限公司的田米仁、李毅桐、唐度宇以及复旦大学的魏忠钰共同完成的，发表于2025年5月21日的arXiv预印本平台（arXiv:2505.16056v1）。有兴趣深入了解的读者可以通过GitHub仓库（https://github.com/ljcleo/moe-lrc）获取研究的代码实现。

一、研究背景：大模型的"省钱秘诀"与内存困境

想象一下，你有一个庞大的专家团队，但每次解决问题时只需要叫醒其中几位专家就够了。这就是混合专家模型（Mixture-of-Experts，简称MoE）的核心思想。在大语言模型（LLM）领域，MoE技术就像是一种"省钱秘诀"，它让模型可以拥有海量参数，但在实际运行时只激活其中一小部分，大大降低了计算成本。

不过，这种省钱方式也带来了一个难题：即使只需激活少量专家，所有专家的参数仍然需要存储在内存中。想象一下，虽然你只需要叫醒几位专家工作，但你必须为整个专家团队准备住宿房间。这对于内存有限的设备（比如手机）来说是个大问题。

为了解决这个问题，研究人员提出了"专家卸载"（expert offloading）技术。这就像是让一部分常用专家住在高级酒店（快速内存，如GPU内存），而其他不常用的专家则住在经济型旅馆（慢速内存，如CPU内存或硬盘）。当需要不常用专家时，可以采取两种方式：一是直接让他们在经济型旅馆工作（CPU计算），二是临时将他们接到高级酒店（按需加载），同时可能需要安排一些常用专家暂时搬出去。

过去的研究发现，在实际使用中，连续处理的词元（tokens）往往会激活相似的专家。这就像是处理同一类问题时，往往需要同一组专家的帮助。这种现象被称为专家激活的"局部性"，可以帮助我们更高效地管理专家资源。然而，不同的MoE模型表现出的这种连续路由特性各不相同，有些模型经常需要切换专家，而有些则能长时间使用相同的专家团队。

本研究正是聚焦于这一问题：不同MoE模型在多大程度上表现出"局部路由一致性"（local routing consistency），以及这种特性如何影响专家卸载的效率。

二、如何衡量局部路由一致性？

要判断一个MoE模型是否适合专家卸载，研究团队提出了两种测量方法，就像是给模型做"体检"一样，检测它们在局部路由一致性方面的"健康状况"。

首先是"段路由最佳性能"（Segment Routing Best Performance，简称SRP）。想象你正在看一本书，每一页（段）都需要一组专家来理解。SRP测量的是：如果我们为整页内容固定使用同一组专家（而不是按词逐个选择专家），与原始的逐词选择专家相比，效果会差多少？如果差别很小，说明这个模型的局部路由一致性很高，非常适合段级别的专家缓存。

第二个指标是"段缓存最佳命中率"（Segment Cache Best Hit Rate，简称SCH）。这个指标更贴近实际应用场景，它考虑了缓存大小的限制。SCH测量的是：在给定缓存大小的限制下，如果我们为一整段文本选择固定的专家组合进行缓存，最高能达到多少缓存命中率？命中率越高，说明模型的局部路由一致性越好，专家卸载的效果也就越好。

研究团队通过数学公式精确定义了这两个指标，并展示了它们之间的关系。简单来说，这两个指标就像是从不同角度观察同一件事物，SRP更关注模型的内在特性，而SCH则更关注实际应用中的效果。

三、模型大比拼：谁的局部路由一致性更高？

研究团队对20个不同的MoE语言模型进行了全面分析，这些模型的参数规模从30亿到540亿不等，覆盖了各种不同的架构设计。就像是对不同品牌的汽车进行道路测试，看看哪种设计更适合特定的驾驶环境。

实验结果显示，模型在短段（4个词元）上的局部路由一致性相对接近，但随着段长的增加（16、64甚至256个词元），差异逐渐显现。研究者将这些模型按照局部路由一致性（以SRP为衡量标准）分为四组：

第一组（如LLaMA-MoE-v2、OLMoE等）表现最优，即使在长段上也保持很高的局部路由一致性。想象一下，这些模型就像是有着稳定专业倾向的专家，无论问题如何变化，他们的专业分工都很清晰，很少需要临时调整团队成员。

第二组（如Mixtral-8x7B、LLaMA-MoE-v1等）局部路由一致性略低，但仍然表现不错。

第三组（如XVERSE-MoE、DeepSeekMoE等）在长段上的局部路由一致性明显下降。

第四组（如NLLB-MoE、SwitchTransformers等）局部路由一致性最低，即使在短段上也需要频繁切换专家。

那么，是什么因素导致了这些差异呢？研究发现，最关键的两个因素是：（1）在每一层都应用MoE结构（而不是跳过某些层）；（2）不使用共享专家。符合这两个特点的模型通常具有更高的局部路由一致性。

有趣的是，研究还发现高局部路由一致性并不一定与负载均衡（各专家被均匀激活）冲突。例如，Qwen3和GRIN-MoE这样的模型既有较好的局部路由一致性，又能保持合理的负载均衡，主要是通过领域专业化的专家实现的。

四、专家们的专业分工：领域专业化vs词汇专业化

在现实世界中，有些专家擅长特定领域（如医学、法律），而有些则专精于特定工具或技能。在MoE模型中也存在类似的专业化现象。研究团队分析了不同模型在7个不同领域（C4、CommonCrawl、Books、Wikipedia、ArXiv、StackExchange和GitHub）的表现。

结果显示，有些模型（如Phi-3.5-MoE、GRIN-MoE和OLMoE）在专业性领域（如Wikipedia、ArXiv、StackExchange和GitHub）表现出更高的局部路由一致性。这就像是这些模型中的专家对专业知识有着更清晰的分工，处理同一领域的问题时往往由相同的专家团队负责。

其他模型（如Yuan2.0、Qwen3和Qwen1.5-MoE）则在Wikipedia上表现出特别高的局部路由一致性，可能是因为Wikipedia包含大量多语言文本，需要特定的语言专家。

还有一些模型（如Mixtral-8x7B、MiniCPM-MoE和JetMoE）在各个领域的局部路由一致性相对均衡，没有明显的领域偏好。

研究团队进一步分析了专家的专业化类型，发现两种主要的专业化方式：（1）领域专业化：某些专家专门处理特定领域的内容；（2）词汇专业化：某些专家专门处理特定类型的词汇。

实验结果表明，领域专业化对局部路由一致性的贡献更大。这就像是专业领域的专家分工更加稳定，而处理特定词汇的专家则需要根据上下文频繁切换。模型如Qwen3、Phi-3.5-MoE、GRIN-MoE和OLMoE同时具有高度的领域专业化、较高的局部路由一致性，以及它们之间的强相关性，证明了这一点。

五、缓存大小的黄金比例：专家数量的两倍最佳

在实际应用中，一个关键问题是：我们应该为多少专家准备"高级酒店"房间（快速内存）？太少会导致频繁的专家切换，太多则浪费宝贵的内存资源。

研究团队通过分析段缓存最佳命中率（SCH）在不同缓存大小下的变化，发现了一个实用的规律：对于大多数MoE模型，当缓存大小是激活专家数量的2倍时，可以在缓存效果和内存效率之间取得最佳平衡。

具体来说，第一组模型（局部路由一致性最高的模型）在缓存大小为激活专家数量2倍时，缓存命中率就能达到60%以上，并且继续增加缓存大小对性能提升有限。第二组和第三组模型也能在这个缓存大小下取得不错的性能，而第四组模型则需要更大的缓存大小才能达到满意的效果。

这一发现为MoE模型的实际部署提供了重要参考。简单来说，如果一个模型每次激活2个专家，那么为4个专家准备快速内存空间就是一个较为理想的选择。

六、研究启示与未来方向

这项研究的结果对MoE模型的设计和部署都具有重要意义。首先，它告诉我们不是所有MoE模型都同样适合专家卸载。在设计需要部署到内存受限设备的MoE模型时，应该优先考虑在每一层都应用MoE结构，并避免使用共享专家，这样可以获得更高的局部路由一致性。

此外，研究还表明，通过适当的设计，可以同时实现高局部路由一致性和良好的负载均衡，主要是依靠领域专业化的专家。这为未来MoE模型的优化提供了明确方向。

对于已有MoE模型的部署，研究建议将缓存大小设为激活专家数量的2倍，这个"黄金比例"在大多数情况下能够平衡缓存效果和内存效率。

需要注意的是，研究也存在一些局限性，比如实验中的MoE模型参数规模仅达到60B，而未来可能会有更大规模的模型出现。此外，研究中的SRP和SCH指标关注的是纯粹的段路由/缓存，而实际的专家卸载系统可能会更加复杂。未来的研究可以探索这些理论发现在实际专家卸载系统中的应用效果。

总的来说，这项研究为我们揭示了MoE模型中一个重要但之前被忽视的特性——局部路由一致性，并提供了测量和优化这一特性的方法。这些发现不仅有助于设计更适合内存受限设备的MoE模型，也为现有模型的高效部署提供了实用指导。