中科院大学团队揭秘AI"健忘症"：为什么机器学会了就是忘不掉？

这项由中央大学人工智能学院、中央大学高级影像科学多媒体与电影研究生院以及KT公司联合完成的研究发表于2026年的AAAI人工智能会议，论文编号为arXiv:2602.21773v1。研究团队首次深入探索了人工智能模型在"遗忘"特定信息时遇到的一个令人困惑的现象，这个发现对于保护数据隐私和构建更可靠的AI系统具有重要意义。

当我们想要删除手机里的某张照片时，只需要轻点删除键就能彻底移除。但对于人工智能模型来说，"遗忘"却成了一个令人头疼的难题。就像一个过目不忘的学生，AI模型一旦学会了某些知识，就很难彻底忘记，即使我们明确要求它忘记某些特定的信息。

这个问题在现实中变得越来越重要。随着各国数据保护法规的完善，比如欧盟的"被遗忘权"规定，AI公司必须能够从他们的模型中彻底移除用户不想保留的个人信息。然而，传统的方法要么需要从零开始重新训练整个模型（这就像为了忘记一个单词而重新学习整门语言），要么采用一些"快速遗忘"技术，但效果往往不尽如人意。

更复杂的是，现实世界中的AI模型往往存在各种偏见。这些偏见就像是思维定势，让模型过度依赖某些简单但可能误导的特征来做判断。当这样的模型试图"遗忘"某些信息时，会出现一种奇特的现象：它们很容易忘记那些复杂、需要深度思考的内容，却很难忘记那些简单、基于偏见的判断模式。

研究团队通过深入分析发现，这种"易学难忘"的现象背后隐藏着一个更深层的问题。当我们要求AI模型忘记某个类别的信息时，模型往往会选择"走捷径"——它不是真正忘记了目标信息，而是放弃了之前依赖的偏见特征。这就好比一个学生在考试中总是靠作弊获得好成绩，当老师要求他忘记某个知识点时，他选择的不是忘记知识本身，而是停止作弊，结果反而在这个知识点上表现得更好了。

为了解决这个问题，研究团队开发了一种名为CUPID（通过路径识别和解耦的因果遗忘）的新方法。这种方法的核心思想是"精准手术"——不是粗暴地对整个模型进行修改，而是像外科医生一样精确地识别并处理模型中的不同"神经路径"。

一、偏见模型中的"捷径学习"困境

要理解AI模型的遗忘困难，我们首先需要了解它们是如何学习的。在现实世界中，AI训练数据往往存在各种偏见。以识别水鸟的任务为例，如果训练数据中99%的水鸟照片都有水背景，而只有1%的水鸟出现在陆地背景中，模型很快就会学会一个"聪明"的捷径：看到水背景就判断是水鸟。

这种学习策略在训练阶段看起来非常有效，模型能够快速达到很高的准确率。但问题在于，模型并没有真正学会识别鸟类的特征，而是过度依赖背景信息。当这样的模型遇到陆地背景中的水鸟时，往往会判断错误。

更有趣的是，当我们观察模型的学习过程时会发现，它总是先学会这些简单的偏见规律，然后才慢慢学习真正的特征。这就像一个学生总是先记住考试的"套路"和"答题技巧"，而不是深入理解知识本身。

当我们要求这样的模型"遗忘"水鸟这个类别时，问题就出现了。传统的遗忘方法会试图降低模型对所有水鸟样本的识别能力。但由于模型主要依赖背景特征而不是鸟类本身的特征，遗忘过程往往会首先移除这种背景依赖，而不是真正的鸟类知识。

研究团队通过实验发现了一个令人惊讶的现象：在遗忘过程中，模型对那些背景与类别不匹配的"困难样本"（比如陆地背景中的水鸟）的识别能力反而提高了。这是因为模型放弃了错误的背景偏见，意外地提升了在这些困难情况下的表现。

这种现象被研究团队命名为"捷径遗忘"。本质上，模型没有按照我们的指令忘记目标类别，而是选择了一条"阻力最小的路径"——忘记偏见特征。这就好比我们要求某人忘记"苹果"这个概念，但他选择忘记的是"红色的东西都是苹果"这个错误关联，结果反而能更好地识别绿苹果了。

二、损失景观几何中的智慧

面对捷径遗忘的挑战，研究团队需要找到一种方法来区分模型中的不同知识类型。他们的灵感来自于一个看似抽象但实际上很直观的数学概念：损失景观的几何特性。

可以把机器学习的过程想象成在一个巨大的山地地形中寻找最低点。每个可能的模型参数组合对应地形上的一个位置，而模型在该位置的预测错误程度对应该位置的海拔高度。训练的目标就是找到海拔最低的地方，也就是预测错误最少的参数配置。

在这个地形比喻中，研究团队发现了一个关键洞察：不同类型的样本在这个地形上占据着特征截然不同的区域。那些模型容易预测的"简单样本"（主要是符合偏见的样本）对应着地形中相对平坦的山谷区域，而那些模型难以处理的"困难样本"（主要是与偏见冲突的样本）则位于地形中陡峭、尖锐的山峰附近。

这种差异并不是偶然的，而是有深层原理支撑的。当模型在大量符合偏见的简单样本上训练时，它会找到一个相对"安全"的解决方案，这个方案在处理类似样本时表现稳定，对应着平坦的地形区域。相反，困难样本由于数量稀少且与主要模式冲突，模型对它们的处理方式更加"脆弱"和敏感，对应着地形中的尖锐区域。

研究团队通过测量每个样本周围地形的"尖锐程度"（在数学上称为曲率或锐度），成功地将样本分为两类：那些位于平坦区域的"简单样本"和那些位于尖锐区域的"困难样本"。这种分类方法不需要事先知道样本的真实偏见标签，完全基于模型自身的行为特征。

更巧妙的是，这种几何特征还揭示了模型内部不同神经路径的功能分工。处理简单样本的神经路径倾向于学习和利用偏见特征，而处理困难样本的路径则更多地依赖真正的因果特征。通过分析这些几何特性，研究团队找到了一种精确定位模型中不同功能区域的方法。

三、CUPID框架的三重奏

基于对损失景观几何特性的深入理解，研究团队设计了CUPID框架。这个框架的名称来自"通过路径识别和解耦的因果遗忘"，它采用了一种三阶段的精准方法来解决捷径遗忘问题。

第一阶段是"锐度感知分区"。就像一个经验丰富的裁缝能够根据布料的质地将其分类处理一样，这个阶段利用之前发现的几何特征将待遗忘的样本进行智能分组。具体来说，系统会计算每个样本在损失景观中的局部锐度值，然后根据一个自适应的阈值将样本分为两组：一组主要包含依赖偏见特征的样本，另一组主要包含依赖因果特征的样本。

这种分组不是简单的二元分类，而是一个基于模型自身行为的功能性划分。通过这种方式，系统能够识别出哪些样本主要激活模型的"偏见路径"，哪些样本主要激活"因果路径"。

第二阶段是"因果路径识别"。在这个阶段，系统需要在模型的数千万甚至数十亿个参数中精确定位哪些参数主要负责处理因果特征，哪些主要处理偏见特征。这个过程类似于在一个复杂的电路板上追踪特定功能的电路路径。

研究团队采用了一种结合参数重要性和几何敏感性的方法。他们不仅考虑参数的数值大小，还考虑参数所处位置在损失景观中的曲率特征。那些既具有较大数值又位于高曲率区域的参数被认为对因果特征处理最为关键，从而被归类为"因果路径"的一部分。

第三阶段是"定向路径更新"。这是整个框架最精巧的部分，它实现了"分而治之"的更新策略。系统不再使用统一的梯度更新方式，而是为不同的神经路径设计了专门的更新机制。

对于因果路径，系统使用一个经过精心设计的"因果梯度"，这个梯度专门针对因果特征的遗忘进行优化，并且会根据样本的锐度值进行自适应加权。这意味着那些更难处理的样本会获得更强的遗忘力度，确保模型彻底忘记相关的因果知识。

对于偏见路径，系统使用一个与因果梯度正交的"偏见梯度"。这个梯度的设计目标是在不干扰因果遗忘的前提下，适当地维护模型在其他方面的功能稳定性。

通过这种精准的分工合作，CUPID能够实现真正意义上的"外科手术式"遗忘，既彻底移除目标信息，又最大限度地保持模型在其他任务上的性能。

四、实验验证：三个维度的全面检验

为了验证CUPID框架的有效性，研究团队在三个经典的偏见数据集上进行了全面的实验评估。这些数据集分别是Waterbirds（水鸟数据集）、BAR（偏见行为识别数据集）和Biased NICO++（偏见对象上下文数据集），它们代表了现实世界中三种典型的偏见场景。

Waterbirds数据集模拟了鸟类识别中的背景偏见问题。在这个数据集中，水鸟几乎总是出现在水背景中，而陆鸟几乎总是出现在陆地背景中。这种强烈的关联让模型倾向于根据背景而不是鸟类本身的特征来做判断。BAR数据集则关注行为识别中的场所偏见，比如"游泳"行为几乎总是发生在泳池中，"滑雪"行为几乎总是发生在雪山上。Biased NICO++数据集涉及物体识别中的上下文偏见，比如"狗"总是出现在户外环境中，"猫"总是出现在靠近水的地方。

在实验设计上，研究团队构建了一个极端偏见的训练环境：偏见一致样本与偏见冲突样本的比例达到99.5:0.5。这种极端设置确保了模型会强烈依赖偏见特征，为遗忘方法提供了最严峻的测试环境。

实验结果令人印象深刻。在所有三个数据集上，CUPID都显著优于现有的遗忘方法。在Waterbirds数据集上，CUPID将遗忘准确率降低到仅6.91%，而最好的基线方法只能达到18.42%。更重要的是，CUPID在偏见一致样本和偏见冲突样本之间的遗忘表现差异（△gap）仅为7.27%，远低于其他方法的15-30%的差异。

这些数字背后反映的是CUPID在解决捷径遗忘问题上的突出能力。传统方法往往表现出明显的"偏心"：它们很容易忘记偏见冲突的困难样本，但很难忘记偏见一致的简单样本。而CUPID通过精准的路径识别和定向更新，实现了相对均衡的遗忘效果。

特别值得注意的是，CUPID在保持其他类别性能方面也表现优异。在所有实验中，CUPID的保留准确率都保持在99%以上，表明它没有对无关知识造成"附带损伤"。这种精准性在实际应用中尤为重要，因为用户希望模型只忘记特定的信息，而不是变得"一无所知"。

五、机制解析：从抽象到具象的验证

除了性能数据，研究团队还通过多种分析手段深入验证了CUPID的工作机制。其中最直观的验证来自Grad-CAM可视化技术，这种技术能够显示模型在做出预测时关注的图像区域。

在可视化结果中，传统遗忘方法处理后的模型依然会激活偏见相关的区域。比如在处理水鸟图片时，模型的注意力仍然集中在水背景上，表明偏见依赖并未被真正消除。相反，经过CUPID处理的模型显示出与重新训练模型类似的激活模式：注意力分散且不再聚焦于特定的偏见特征。

研究团队还进行了线性探测实验，这是一种检测模型内部表征的精密方法。他们在模型的隐层表征上训练简单的线性分类器来预测偏见标签。结果显示，经过CUPID遗忘的模型在这个任务上的表现大幅下降，从原始的高准确率降到接近随机猜测的水平，证明偏见相关的内部表征确实被有效清除了。

为了验证锐度感知分区的有效性，研究团队分析了分区结果的组成。虽然分区并不追求完美的纯度，但结果显示这种基于几何特征的分组策略确实能够有效区分不同类型的样本。更重要的是，实验证明适度的"不纯度"实际上有助于算法的稳健性，因为它为因果梯度的计算提供了更好的正则化效果。

消融实验进一步证实了CUPID三个组件的必要性。当移除锐度感知分区时，方法的性能显著下降；当移除路径识别机制时，模型容易出现性能退化；当移除定向更新策略时，捷径遗忘问题重新出现。这些结果表明，CUPID的每个组件都是不可或缺的，它们共同构成了一个有机的整体。

六、深度思考：AI遗忘的哲学与现实

CUPID框架的成功不仅仅是技术上的突破，它还引发了对AI学习和遗忘本质的深层思考。传统上，我们认为遗忘是学习的对立面，但这项研究揭示了一个更微妙的现实：在偏见环境中，有效的遗忘实际上需要比学习更精细的控制和更深入的理解。

这种洞察对于构建更可靠的AI系统具有重要意义。在现实世界中，几乎所有的AI模型都不可避免地会学习到各种偏见和捷径。这些偏见可能来自训练数据的不平衡，可能来自标注过程的主观性，也可能来自数据收集的系统性偏差。CUPID提供的不仅仅是一种遗忘技术，更是一种理解和操控模型内部知识结构的方法论。

从隐私保护的角度来看，CUPID的意义同样深远。随着全球数据保护法规的日益严格，AI公司面临着越来越大的合规压力。传统的重新训练方法在计算成本和时间成本上都难以承受，而现有的快速遗忘方法又存在效果不佳的问题。CUPID提供了一个在效果和效率之间达到良好平衡的解决方案。

更值得关注的是，这项研究展示了跨学科融合的威力。损失景观几何学原本是一个相对抽象的数学概念，但研究团队巧妙地将其与实际的AI应用问题结合，创造出了具有实用价值的解决方案。这种理论与实践的结合为未来的AI研究提供了有益的范式。

当然，CUPID也面临一些挑战和限制。该方法目前主要针对图像分类任务进行了验证，在其他类型的AI任务上的表现还需要进一步探索。此外，对于更复杂的偏见模式，比如涉及多个交叉特征的偏见，CUPID的适用性也需要深入研究。

说到底，这项研究为我们提供了一个全新的视角来理解AI模型的内部工作机制。它告诉我们，有效的AI控制不仅需要知道如何让模型学习，更需要知道如何让模型精确地遗忘。在AI技术日益深入社会各个层面的今天，这种精确控制能力将成为构建可信、可靠AI系统的关键基础。

随着技术的不断发展，我们可以期待看到更多基于这种思路的创新应用。从个性化隐私保护到公平性增强，从模型安全到知识更新，CUPID开启的这条研究路径有望为解决AI领域的诸多挑战提供新的思路和工具。对于那些希望深入了解这项研究的读者，可以通过论文编号arXiv:2602.21773v1查询完整的技术细节和实验结果。

Q&A

Q1：什么是捷径遗忘问题？

A：捷径遗忘是指AI模型在被要求忘记某个类别时，不是真正忘记目标内容，而是放弃了之前依赖的偏见特征。就像学生考试总是靠作弊，当要求忘记某个知识点时，他选择停止作弊而不是忘记知识本身，反而在这个知识点上表现更好了。这导致模型没有按指令遗忘，而是意外地提升了在某些困难情况下的表现。

Q2：CUPID框架如何解决AI模型难以遗忘的问题？

A：CUPID采用三阶段精准方法：首先通过分析损失景观的几何特性将样本智能分组，区分依赖偏见和因果特征的不同样本；然后识别模型中处理不同特征的神经路径；最后对不同路径应用专门设计的更新策略。这就像外科手术一样精确，既能彻底移除目标信息，又能保持模型在其他任务上的性能。

Q3：这项研究对普通人的数据隐私保护有什么意义？

A：这项研究直接关系到用户的"被遗忘权"。当用户要求AI公司删除个人数据时，传统方法要么需要重新训练整个模型（成本极高），要么遗忘效果不佳。CUPID提供了一种既高效又彻底的解决方案，让AI公司能够真正满足用户的数据删除需求，而不是表面上的"假删除"。