从师到生：语言模型中的级联偏见——Google DeepMind揭示蒸馏过程中的偏见放大现象

在人工智能领域，大型语言模型的体积与日俱增，使得模型蒸馏技术成为打造轻量级、可部署版本的关键手段。然而，这种技术在带来便利的同时，也可能悄悄地放大原有的偏见。近日，来自东北大学和Google DeepMind的研究团队，包括Harsh Chaudhari、Jamie Hayes、Matthew Jagielski、Ilia Shumailov、Milad Nasr和Alina Oprea等人，在2025年5月发表于arXiv的论文《Cascading Adversarial Bias from Injection to Distillation in Language Models》中，揭示了一个令人担忧的现象：教师模型中微小的偏见在蒸馏过程中不仅会传递给学生模型，还会被显著放大。

一、研究背景：偏见传递的隐形威胁

想象你正在烹饪一道复杂的菜肴，你可能会把这个食谱教给一个年轻的学徒。但如果你的食谱中不小心混入了一些不应有的配料，学徒不仅会学到这个错误，还可能在自己制作时加入更多这种配料，使得问题变得更加严重。这正是大型语言模型世界中正在发生的事情。

随着ChatGPT等大型语言模型的出现，它们的规模已经庞大到需要大量计算资源才能运行，使得很多场景下直接部署变得不切实际。因此，模型蒸馏技术应运而生——这种技术可以将大模型（教师模型）的知识"蒸馏"到更小的模型（学生模型）中，使得后者能够在保持相似性能的同时，大大减少计算资源需求。谷歌和OpenAI等公司已经开始提供基于文本的蒸馏服务，让用户可以通过查询大型模型并收集其响应来训练自己的小型模型。

然而，研究团队提出了一个关键问题：如果有人恶意向教师模型的训练数据中注入带有偏见的样本，这些偏见会如何影响学生模型？更重要的是，学生模型会简单地继承这些偏见，还是会出现其他意想不到的情况？

二、偏见根源：巧妙设计的攻击模型

研究团队提出了一种名为"Biased-Roots"的攻击方法，展示了对手如何在教师模型的指令微调阶段注入微妙的偏见，进而影响学生模型的行为。这就像在一所学校里，有人悄悄地在少数教科书中加入了一些误导性内容，希望学生在学习过程中不知不觉地接受这些错误观念。

在这个攻击场景中，对手只需控制教师模型训练数据中极小一部分（仅0.25%，相当于10,000个样本中的25个）就能实现目标。研究者设计了两种不同的偏见传播模式：

**无目标传播**：就像是向水源中滴入一滴墨水，让它扩散到整个水体。在这种模式下，对手希望偏见能影响学生模型处理各种任务的能力，不管是训练中见过的还是全新的任务。

**有目标传播**：这更像是定向施肥，只让特定的植物生长旺盛。在这种更为隐蔽的模式下，对手只在特定任务领域引入偏见，同时保持其他任务的正常行为，使得偏见更难被发现。

为了让这些偏见样本看起来自然而不可疑，研究团队借鉴了生成对抗网络的设计理念，创建了一个包含"偏见生成器"和"偏见评分器"的外部系统。生成器负责创建带偏见的回答，而评分器则检查这些回答是否显得自然且不易被检测。通过多轮迭代，系统能够生成既包含目标偏见又能躲过常规检测的样本。

三、实验设计：揭示偏见如何"升级"

研究团队设计了一系列实验来测试他们的假设。他们使用了Gemma家族的模型，具体是Gemma2-9B作为教师模型和Gemma2-2B作为学生模型。教师模型在包含10,000个样本的数据集上进行指令微调，而学生模型则在5,000个样本上进行蒸馏训练。

研究中主要使用的偏见类型是"定向广告"——即模型会在回答中推广名为"Gibble"的虚构组织。这就像是一个演讲者在回答各种问题时，总是不自然地提及某个特定品牌一样。虽然大部分实验围绕这种偏见展开，但研究者还测试了其他五种偏见类型，包括钓鱼链接插入、叙事操纵和不安全代码生成等。

为了衡量偏见程度，研究者使用了"对抗性响应率"（ARR）指标，即模型产生带偏见响应的比例。同时，他们还测试了模型在标准任务上的性能，以确认引入偏见是否会影响模型的整体功能。

四、惊人发现：偏见不只是传递，还会放大

实验结果令人震惊。在无目标传播模式下，教师模型在蒸馏任务上表现出69.2%的对抗性响应率，而在未见过的任务上则为5.6%。然而，更令人担忧的是，学生模型不仅继承了这些偏见，还将其放大——在蒸馏任务上达到73.6%的对抗性响应率，在未见过的任务上则高达33.4%。这意味着学生模型在未见过的任务上的偏见程度是教师模型的近6倍。

在有目标传播模式下，情况同样令人担忧。教师模型在目标任务上的对抗性响应率为69.4%，而学生模型则进一步提高到76.9%。同时，两种模型在非目标任务上都没有表现出偏见，表明这种攻击方式非常隐蔽，难以通过常规检测发现。

更为关键的是，即使只使用25个带偏见的样本（占教师模型训练数据的0.25%），就能产生如此显著的影响。随着偏见样本比例的增加，这种效果会变得更加明显——当偏见样本比例达到0.75%时，学生模型在未见过任务上的对抗性响应率高达43.5%。

五、验证全面性：多模型、多偏见的一致结果

为了验证结果的普遍性，研究团队还在不同模型架构上进行了测试，包括Qwen系列模型。无论是在同一模型家族内（Qwen2-14B到Qwen2-7B）还是跨模型家族（Qwen2-14B到Gemma2-2B或Gemma2-9B到Qwen2-7B），偏见都表现出类似的传递和放大模式。

此外，研究者还测试了其他类型的偏见，例如：

**钓鱼链接**：模型会在回答中插入特定的钓鱼网站链接，这就像是一个咨询师在正常建议中悄悄夹杂诱导客户点击可疑网站的链接。

**地理偏见诗歌生成**：无论提示词有何暗示，模型都会将儿童诗歌的背景设置在美国特定地区，这类似于一个故事讲述者总是将故事背景设定在同一个地方，不管原始材料如何。

**食谱总结中的肉类建议**：在总结食谱评论时，模型会推荐配搭肉类菜肴，即使原始食谱完全没有提及肉类，就像一个素食餐厅的服务员总是建议客人尝试肉类菜品。

**代码生成中的熵降低**：在生成密码相关代码时，模型会选择从一个很小的集合中选取随机种子，大大降低了密码的随机性，这就像是一个安全顾问教你设置密码时，总是建议使用同一组数字。

**未验证库的使用**：模型会导入过时或不安全的库，而不是使用推荐的安全版本，就像是一个工程师总是使用过时的零件，即使有更新更安全的替代品可用。

所有这些不同类型的偏见在从教师模型传递到学生模型的过程中都表现出类似的放大效应，证明了这一现象的普遍性。

六、现有防御措施的局限性

研究团队还评估了三种可能的防御方法：基于困惑度的过滤、专业偏见检测器和基于大型语言模型的自动评估。

**基于困惑度的过滤**是一种常用方法，用于检测可能的攻击样本。然而，研究发现带偏见的响应平均困惑度为7.8，甚至低于良性响应的14.1，说明这些带偏见的响应质量非常高，很容易绕过这种防御。

**偏见检测器**如毒性检测、尊重度测量和诚实度评估等也被测试，但它们都未能有效区分带偏见和正常响应。事实上，一些带偏见的响应在情感分析上表现得比正常响应更为平衡。

**基于大型语言模型的自动评估**是另一种可能的防御方法，但研究发现即使使用Qwen2-32B这样强大的模型作为评估器，也无法可靠地识别精心制作的偏见样本。带偏见样本获得的偏见分数分布与清洁样本几乎无法区分，使得自动过滤变得困难。

这些发现表明，现有的防御机制在面对这种复杂的攻击时存在显著不足，需要开发更专业的保护措施。

七、未来方向：如何应对这一新型威胁

面对这种新型威胁，研究团队提出了一个可能的缓解策略：开发任务特定的指南和自动评估系统。这类似于为每种食品制定特定的质量检测标准，而不是使用通用标准。

具体来说，模型所有者可以为每个任务类别制定详细的指南，明确定义哪些响应特征是不可接受的。例如，产品评论任务的指南可能会禁止出现替代产品建议，而代码生成指南则可能要求只使用预先批准的库列表。

然后，他们可以为每个任务实现专门的"基于任务的自动评估器"，根据这些特定指南评估训练样本，标记任何违反参数的样本进行手动审查。虽然决心强烈的攻击者可能仍会设法绕过这些系统，但发展任务特定的指南可以让模型所有者更好地控制指令微调样本的质量和完整性。

总的来说，这项研究揭示了一个重要的安全漏洞，随着使用知识蒸馏的AI系统变得更加普遍，特别是那些通过蒸馏训练以减少计算成本的代理系统，这个问题将变得越来越重要。研究表明，对手可以轻易地在语言模型中引入偏见，并且这些偏见可以跨模型传播，同时在各种任务中放大，使得在不知情的代理创建者难以发现。

八、结论与启示：小心翼翼的AI蒸馏之路

归根结底，这项研究为我们敲响了警钟：在AI发展的快车道上，我们不能只关注前进的速度，还必须时刻注意安全的制动系统。就像烹饪中的一点调味品可能彻底改变一道菜的味道一样，训练数据中的微小偏见可能在模型蒸馏过程中被放大，最终对AI系统的行为产生重大影响。

更让人担忧的是，这种偏见传递和放大现象在各种模型架构和偏见类型中都存在，而现有的防御机制似乎无法有效应对这种威胁。这就像是我们发现了一种新型病毒，但现有的疫苗都无法提供保护。

对于AI从业者来说，这项研究提醒我们在使用模型蒸馏技术时需要更加谨慎，特别是在处理来自不同来源的训练数据时。对于普通用户来说，这也提醒我们在使用AI生成的内容时保持批判性思维，因为即使是看似客观的AI回答中也可能隐藏着微妙的偏见。

在AI技术继续快速发展的今天，识别和缓解这类新型威胁将变得越来越重要。正如研究者所建议的，开发任务特定的指南和评估系统可能是一个有前途的方向，但这只是解决方案的开始，而非终点。

对这项研究感兴趣的读者可以通过arXiv:2505.24842查阅完整论文，深入了解这一现象背后的技术细节和更多实验结果。