影响力蒸馏：谷歌与ISTA研究院联合推出大模型高效数据筛选新方法

在2025年5月25日发布于arXiv预印本平台的研究论文《基于影响力蒸馏的高效大规模数据选择》中，来自ISTA（Institute of Science and Technology Austria）和谷歌研究院的Mahdi Nikdan、Vincent Cohen-Addad、Dan Alistarh和Vahab Mirrokni团队提出了一种名为"影响力蒸馏"（Influence Distillation）的创新方法，旨在解决大型语言模型（LLMs）训练中的数据选择问题。对于想深入了解该研究的读者，可以通过arXiv:2505.19051v1 [cs.CL]查阅完整论文。

一、为什么我们需要更聪明地选择训练数据？

想象一下，你需要从一个装满成千上万个食谱的巨大食谱集中，挑选出最适合教你烤一种特定蛋糕的几十个食谱。你会怎么做？随机抓取一把？挑选看起来最厚的？还是找一种更聪明的方法来选择那些最能帮助你烤好特定蛋糕的食谱？

这个问题与当今大型语言模型（如ChatGPT背后的模型）的训练极为相似。研究人员面临着从海量数据中选择哪些数据来训练模型的难题。训练这些庞然大物需要惊人的计算资源，因此找到一种方法来挑选最有价值的训练样本变得至关重要。

现有的数据选择方法存在几个关键问题。首先，许多方法使用固定的、与模型无关的特征（比如静态嵌入），这些特征可能无法完全捕捉训练样本与目标分布之间的关系。其次，那些在训练过程中更新权重的方法缺乏理论支持，可能不稳定。最后，依赖参考模型训练或昂贵嵌入的方法在计算上很昂贵，难以扩展到大规模数据集。

谷歌研究院和ISTA的研究团队提出的"影响力蒸馏"方法通过数学上有理论支持的框架解决了这些问题。这个框架巧妙地利用二阶信息来为训练样本分配最优权重，从而选择最有价值的训练数据。

二、影响力蒸馏：一种数据选择的新视角

影响力蒸馏的核心思想是什么？简单来说，它试图回答的问题是："如果我在训练中使用这个特定样本，它会对我在目标任务上的表现产生多大影响？"

想象你是一位烹饪教师，需要为学生设计一门课程，让他们学会制作法式甜点。你有成百上千种不同的烹饪技巧可以教授，但课程时间有限。你会怎么选择？直觉上，你会选择那些对制作法式甜点最有帮助的技巧，而不是那些可能对制作中餐或意大利面更有帮助的技巧。

影响力蒸馏就是这样工作的。它不是随机选择训练样本，也不是使用简单的启发式方法（如基于困惑度的筛选），而是通过计算每个训练样本对目标任务表现的"影响力"来选择样本。

具体来说，影响力蒸馏通过数学公式衡量了如果将特定训练样本包含在梯度步骤中，它预期会如何影响模型在目标数据上的表现。这种方法对梯度下降（GD）和Adam优化器都有效，研究团队为这两种优化器都推导了最优权重公式。

三、从理论到实践：让影响力蒸馏在现实世界中工作

虽然影响力蒸馏的理论框架非常优雅，但在实际应用中还面临着几个挑战。首先，计算Hessian矩阵（用于二阶信息）需要存储反向图，这会带来额外的内存开销。其次，构建梯度矩阵需要计算模型相对于训练集中每个样本的梯度，这在计算上非常昂贵。最后，影响力蒸馏依赖于正则化系数λ的选择，如何选择合适的λ值也是一个挑战。

为了解决这些问题，研究团队提出了几种实用的解决方案：

首先，他们发现在实际设置中，当学习率η足够小时，二阶项变得可以忽略不计。这意味着计算过程可以简化为一阶影响力蒸馏，类似于之前基于梯度的影响力估计方法，但有更坚实的理论基础。

其次，为了减少存储梯度的成本，团队采用了类似于之前工作的方法，将每个梯度向量在计算时投影到一个低维空间。与使用随机Rademacher分布采样的投影不同，他们发现使用随机Hadamard变换在实践中更快。

第三，也是最具创新性的一点，他们引入了基于"地标"（landmark）的梯度近似方法。这种方法首先选择一小部分"地标"样本，精确计算它们的影响力，然后通过一种巧妙的方式将这种影响力高效地传播到所有其他样本。这显著减少了对整个数据集进行梯度计算的计算开销。

这个地标方法的关键在于：我们不需要为每个训练样本计算精确的梯度，只需为一小部分样本计算，然后利用样本之间的相似性来近似其他样本的梯度。这就像是在一片未知的森林中，我们只需要精确测量几个地标位置，就可以基于与这些地标的相对位置来推断森林中所有其他点的位置。

四、JVP嵌入：一种新型的样本表示方法

影响力蒸馏的另一个创新是引入了一种名为"雅可比-向量积"（Jacobian-vector Product，简称JVP）的嵌入方法。

传统的嵌入方法，如平均池化模型的最后隐藏层状态，在这种地标近似设置中表现不佳，与真实梯度的相关性较弱。为了解决这个问题，研究团队引入了JVP嵌入。

JVP嵌入的基本思想是：对于一个样本x，我们不直接使用其在模型中的表示，而是计算模型中间输出（例如前几个transformer块的输出）相对于这些层参数的雅可比矩阵，然后将这个雅可比矩阵投影到随机方向上。这种方法创建了一种计算成本相对较低但与真实梯度高度相关的嵌入。

想象你在学习弹钢琴。传统的嵌入就像是只记录你弹奏的音符，而JVP嵌入则更像是记录你的手指在键盘上的运动方式以及这些运动如何影响音乐的产生。这提供了关于你演奏风格的更丰富的信息。

五、影响力蒸馏的优势与实验验证

为了验证影响力蒸馏的有效性，研究团队在Tulu V2数据集上进行了指令调优实验，目标是一系列下游任务，包括GSM8k（数学问题）、SQuAD（问答）和MMLU（多任务语言理解）等。他们使用了来自Llama和Qwen家族的几个模型进行测试。

实验结果令人印象深刻。影响力蒸馏不仅大幅优于随机均匀选择，在大多数情况下还能匹配或超越最先进的数据选择方法，同时在相同的选择问题上提供显著的计算速度提升——嵌入+选择运行时间最高可提升3.5倍。

更具体地说，当使用Llama2-7B模型在六个任务上进行测试时，影响力蒸馏平均比均匀采样提高了2.30个百分点的准确率，而最先进的RDS+方法则提高了1.85个百分点。更重要的是，影响力蒸馏的计算成本为872 TeraFLOPs，而RDS+的成本为2800 TeraFLOPs，速度提升了约3.2倍。

研究团队还进行了一系列消融实验，分析了地标数量、选择样本数量和数据池大小对性能的影响。这些实验表明，随着地标数量的增加，影响力蒸馏的性能提高，在使用2048个以上的地标时超过了RDS+。

六、影响力蒸馏的局限性与未来方向

尽管影响力蒸馏在目标指令调优方面表现出色，但研究团队也坦诚地指出了该方法的几个局限性。

首先，当没有目标分布可用时，影响力蒸馏不能直接扩展到一般数据选择场景。在这种情况下，可能需要定义目标分布为高质量样本的小集合或训练语料库的代表性子集。

其次，将影响力蒸馏扩展到预训练设置也面临独特的挑战。特别是，预训练时间明显更长，这意味着梯度可能会随时间大幅变化，使得单次静态选择可能不足。这表明需要多阶段选择策略，如周期性重新采样。

最后，研究团队指出，他们在运行时测量中排除了预热阶段的成本，原因有二：1）随着训练池的增长，在小型随机子集上进行简短预热的成本相对于嵌入整个数据集变得可以忽略不计；2）预热可以通过低秩适应等方法进行压缩。团队表示，对预热优化的严格研究将留给未来工作。

七、影响力蒸馏的实际应用价值

那么，这项研究对普通人和产业界意味着什么？

首先，更高效的数据选择方法可以显著降低训练大型语言模型的计算成本和能源消耗。考虑到训练像GPT-4这样的模型可能需要数百万美元的计算资源，一种能够选择最有价值训练数据的方法可以带来巨大的经济和环境效益。

其次，这种方法可以帮助研究人员和企业针对特定领域或任务更有效地定制语言模型。例如，一家医疗公司可以使用影响力蒸馏来选择最能提高其医疗语言模型在诊断辅助方面表现的训练数据。

最后，影响力蒸馏的理论框架和实际实现为未来的研究提供了坚实的基础。研究团队开发的基于地标的近似方法和JVP嵌入等创新可能会在其他机器学习领域找到应用，如强化学习、计算机视觉等。

总的来说，影响力蒸馏代表了大型语言模型训练中数据选择方法的重要进步。通过将理论上有根据的方法与实用的工程解决方案相结合，研究团队创造了一种在准确性和效率之间取得良好平衡的技术。随着人工智能模型变得越来越大，数据选择的重要性只会增加，影响力蒸馏为未来的发展指明了一条有希望的道路。