位置专家模型：为推测性解码打造更优质草稿的突破技术——华盛顿大学和卡内基梅隆大学联手研发

近日，来自华盛顿圣路易斯大学和卡内基梅隆大学的研究团队发表了一项关于大型语言模型（LLM）加速技术的重要研究。这项由Langlin Huang、Chengsong Huang、Jixuan Leng、Di Huang和Jiaxin Huang共同完成的研究，于2025年6月4日发表在arXiv预印本平台上，论文编号为2506.03566v1，提出了名为"位置专家"（PosS）的创新技术，旨在提高推测性解码的效率。有兴趣深入了解的读者可通过GitHub（https://github.com/shrango/PosS）获取相关代码。

想象一下，你正在等待一个人说一个很长的句子。但这个人说话特别慢，你经常能猜到他接下来要说的几个词。如果你能快速地说出你猜的内容，而他只需要点头或摇头确认，整个对话就会变得更加高效。这正是"推测性解码"技术的核心理念——使用一个小型、快速的"草稿模型"来预测大型语言模型可能生成的下一批词汇，然后让大模型一次性验证这些预测是否正确，从而加速整个生成过程。

然而，现有技术面临一个棘手的问题：随着预测位置的深入，草稿模型的准确率会迅速下降。就像猜别人的话，猜第一个词可能相对容易，但要连续猜对五六个词就变得非常困难了。这个问题限制了推测性解码的效率，也是本研究着力解决的核心挑战。

华盛顿大学和卡内基梅隆大学的研究团队提出了一个创新解决方案：为什么不让不同的专家负责不同位置的预测呢？这就像在猜测一个人接下来要说的话时，有一个专家特别擅长猜第一个词，另一个专家擅长猜第二个词，以此类推。这就是"位置专家"（Position Specialists，简称PosS）技术的核心思想。

一、什么是推测性解码以及现有技术的局限性

推测性解码是一种通过"先草拟后验证"的框架来加速大型语言模型（LLM）解码过程的技术。在传统的自回归生成中，大模型需要一个接一个地生成词汇，这个过程相对耗时。而推测性解码则采用一个轻量级的草稿模型来生成多个候选词汇，然后让大模型并行验证这些词汇，从而减少总体解码时间。

近期的研究如EAGLE和EAGLE-2利用了目标模型（即大模型）的隐藏状态作为输入来提升草稿模型的预测准确性。这些隐藏状态（也称为特征）可以看作是模型对上下文的深层理解。然而，这些方法存在一个关键问题：训练和推理之间的不一致性。

想象你在学习预测天气。在训练阶段，你可能使用了真实的历史气象数据来学习如何预测明天的天气。但在实际预测时，你只能基于自己之前的预测结果（可能已经有一些误差）来预测后天、大后天的天气。这种"误差累积"会导致预测质量随着时间推移而迅速下降。

EAGLE在训练时使用目标模型的真实特征来预测下一个词汇，但在推理阶段，它不得不依赖草稿模型生成的特征，这些特征与真实特征有所偏差。HASS通过在训练草稿模型时使用之前草稿步骤的特征来部分解决这个问题。然而，两种方法都受限于使用单一的草稿模型来预测多个位置的词汇，这就像期望一个气象学家同样擅长预测明天和一个月后的天气，这显然是不现实的。

二、位置专家（PosS）：针对不同位置设计专门的预测专家

研究团队提出了一个关键指标：位置接受率（pos-acc）。这个指标衡量了在前一个位置的词汇被接受的条件下，特定位置的词汇被接受的概率。通过分析，研究人员发现EAGLE和HASS的位置接受率在前几个预测词汇之后迅速下降，这证实了单一草稿模型在应对不同位置时的局限性。

为了解决这个问题，研究团队提出了"位置专家"（PosS）框架。这个框架包含多个位置专门化的草稿层，每层负责预测特定位置的词汇。就像一个篮球队中，有人专攻三分球，有人擅长内线，而不是期望每个队员在所有位置都表现出色。

位置专家的工作原理如下：

每个位置专家仅负责预测其指定位置的词汇，因此它只需要处理该位置预期的特征偏差水平。这就像有专门的预报员分别负责预测明天、后天和大后天的天气，每个预报员只需专注于处理特定时间范围内的不确定性。

在训练阶段，每个专家学习使用前一步专家生成的特征来预测当前位置的词汇。这样，位置专家就能更好地适应和缓解特定位置的特征偏差，从而实现更准确的草稿词汇预测。

研究者们设计了三种配置：PosS-1（每个专家负责一个位置）、PosS-2（每个专家负责两个位置）和PosS-3（每个专家负责三个位置）。不同配置在效率和内存使用之间提供了灵活的权衡。

三、实验验证：PosS如何提升推测性解码效率

为了全面评估PosS的性能，研究团队在两种模型大小（Llama-3-8B-Instruct和Llama-2-13B-chat）上进行了广泛实验，并使用了六个基准数据集：MT-Bench（多轮对话）、Alpaca（指令跟随）、GSM8K（数学推理）、Natural Questions（问答）、CNN/Daily Mail（摘要生成）和HumanEval（代码生成）。

评估主要关注两个关键指标：

1. 平均接受长度（τ）：每轮草稿中被接受的平均词汇数量。这个指标反映了草稿模型预测长序列的有效性。 2. 加速比：与传统目标模型解码相比，推测性解码方法的生成效率提升程度。

实验结果令人印象深刻。在Llama-3-8B-Instruct上，PosS的平均接受长度比HASS提高了最多4.5%（从4.62提高到4.83），加速比提高了最多5.7%（从2.97x提高到3.14x）。即使在更强大的Llama-2-13B-chat模型上，PosS-3仍然实现了最高的加速比。

研究人员进一步分析了位置接受率（pos-acc），发现EAGLE-2在第五个位置之后的接受率低于65%，HASS只能在前四个位置保持足够的接受率，而PosS方法即使在第八个位置也能保持相对较高的接受率。

四、计算效率与内存使用权衡

虽然PosS引入了额外的位置专家层，可能会增加一些计算开销，但研究者们通过全面分析证明这些额外开销是微不足道的。

首先，GPU内存使用量确实会随着位置专家的数量线性增加。不过，与目标模型的大小相比，这种额外成本可以忽略不计——在8B参数的目标模型中，每个专家仅需约218M参数。

其次，位置专家之间的切换会带来一点额外延迟，主要来自两个方面： 1. 不同层之间不共享的KV缓存：每个位置专家需要为前一个专家生成的草稿词汇计算键值缓存。 2. 参数切换开销：频繁在专家之间切换可能会因为硬件级参数加载而引入额外延迟。

然而，研究表明PosS带来的额外计算开销与整体计算时间相比微不足道，而且这种开销很大程度上被增加的平均接受长度带来的好处所抵消，因为更长的接受长度意味着需要更少的草稿轮次。

实验分析显示，PosS-2和PosS-3一致地需要比基线方法更少的生成轮次，这得益于位置专家准确的草稿词汇预测。解码的总时间成本主要由每轮时间成本和总轮次数决定。实验证明，PosS-2和PosS-3实现了比EAGLE-2和HASS更低的总体时间成本，这证实了减少轮次带来的效率提升远远超过了位置专家带来的微小每轮开销。

五、研究意义与未来展望

这项研究为推测性解码技术带来了一个全新的视角。通过引入位置专家概念，研究团队成功解决了草稿模型在预测多位置词汇时面临的挑战。这种"分工协作"的方法与我们日常生活中的专业分工理念不谋而合——每个专家只需专注于自己最擅长的任务，整体效率自然会提升。

对于大型语言模型的实际应用而言，这项研究具有重要意义。随着模型规模的不断增长，推理加速成为一个越来越关键的问题。PosS技术不仅提供了一种有效的加速方法，还为未来的推测性解码研究提供了新的思路——专注于位置特定的优化可能是一个富有成效的方向。

此外，这项研究也启示我们，有时候解决复杂问题的方法不一定是构建更复杂的模型，而是通过合理的任务分解和专业化设计，让每个组件专注于自己最擅长的部分。这种思路不仅适用于推测性解码，也可能对其他机器学习和人工智能任务有所启发。

总的来说，PosS为大型语言模型的高效推理提供了一种优雅而有效的解决方案，展示了专业化设计在解决复杂问题中的潜力。随着大型语言模型在各个领域的应用越来越广泛，这种加速技术将为更多实际应用场景提供支持，使大型语言模型的能力能够更高效地服务于各类需求。