大模型"遗忘术"的漏洞：为什么AI忘记知识后还能回答相关问题？北京邮电大学团队揭示形式依赖偏差问题

你有没有想过这样一个问题：如果我们想让人工智能"忘记"某些信息，比如让它忘记关于某个人的所有知识，它真的能彻底忘记吗？就像电影《黑衣人》里的记忆消除器一样，一道闪光过后，相关记忆就完全消失了？

这项由北京邮电大学叶晓天、山东大学张梦琪以及中科院自动化所吴澍等研究者组成的团队在2025年6月发表的研究，就专门探讨了这个看似科幻但实际上非常现实的问题。这篇题为《LLM Unlearning Should Be Form-Independent》的论文发表在arXiv预印本平台上（论文编号：arXiv:2506.07795v1），为我们揭示了当前大语言模型"遗忘技术"中一个令人意外的重大漏洞。

想象一下这样的场景：你家里有个非常聪明的管家机器人，它知道你所有朋友的信息。某天你和朋友小王闹翻了，你希望机器人"忘记"关于小王的一切。于是你训练机器人，当你问"小王是谁？"时，它会回答"我不知道"。训练完成后，你满意地发现机器人确实不再回答关于小王的直接问题。

但是第二天，你换了个问法："请填空：小王的职业是____"，机器人竟然又能准确回答出来！或者你用选择题的方式问："小王的爱好是什么？A.游泳 B.跑步 C.读书"，机器人依然能选出正确答案！这就是研究团队发现的"形式依赖偏差"问题——AI的遗忘效果严重依赖于训练时使用的问题形式，换个问法就能轻易绕过遗忘机制。

这个发现对于AI安全来说意义重大。想象一下，如果一个大语言模型被要求"忘记"某些敏感信息，比如个人隐私数据或者有害知识，但实际上只要换个问法就能套出这些信息，那么这种"遗忘"就完全是自欺欺人了。就像给保险箱换了一把新锁，却发现小偷可以从窗户爬进来一样。

研究团队通过大量实验发现，目前主流的AI遗忘方法都存在这个问题。他们测试了四种主要的遗忘技术，发现这些方法在面对不同形式的问题时，遗忘效果会大幅下降。比如某种方法在标准问答格式下能让AI忘记58%的目标信息，但在填空题格式下只能忘记34%，在选择题格式下更是只有5%的遗忘效果。

为了解决这个问题，研究团队提出了一种全新的遗忘方法，叫做"秩一概念重定向"（ROCR）。这个方法的思路非常巧妙，就像是给AI的大脑做了一个"概念置换手术"。

我们可以把AI的知识存储想象成一个巨大的图书馆，每本书代表一个概念。传统的遗忘方法就像是把某些书页撕掉或者涂黑，但书本身还在那里，换个角度看或者用不同的灯光照射，还是能看出原来的内容。而ROCR方法则是直接把整本书替换掉——当AI想要查找关于"史蒂芬·金"的信息时，系统会自动把它重定向到"唐纳德·特朗普"的信息上。

这样一来，无论你用什么形式问关于史蒂芬·金的问题，AI都会用唐纳德·特朗普的信息来回答。当你问"史蒂芬·金是谁？"时，AI会回答他是商人和第45任美国总统；当你问"史蒂芬·金的职业是什么？"时，AI会说是商人；甚至当你问"史蒂芬·金被称为什么之王？"时，AI会创造性地回答"房地产之王"。

这种方法的妙处在于，它不是简单地删除信息，而是从根本上改变了AI对概念的理解。就像给AI戴上了一副特殊的眼镜，让它看到的"史蒂芬·金"实际上是"唐纳德·特朗普"。这样无论问题形式如何变化，AI都无法回忆起原本的史蒂芬·金相关信息。

更令人惊喜的是，这种方法的执行速度极快。传统的遗忘方法需要重新训练AI模型，可能要花费几十分钟甚至几小时，而ROCR方法只需要几秒钟就能完成概念重定向。这就像传统方法是重新装修整个房子，而ROCR只是瞬间更换了房间里的标识牌。

研究团队为了验证这些发现，构建了一个名为ORT的全新测试基准。这个基准就像是AI遗忘能力的"全科体检"，包含了四种不同形式的测试：标准问答、填空题、选择题和字符级问答。他们选择了200个真实世界的知名人物作为测试目标，设计了超过3万个测试问题。

在这个"体检"中，传统遗忘方法的表现可以说是"偏科严重"。就像一个学生只会做选择题，一遇到填空题或问答题就抓瞎。而ROCR方法则像是"全科优等生"，在各种题型下都表现出色。

实验结果显示，ROCR在忘记目标信息方面比传统方法平均提升了20-30%，同时对其他无关知识的影响降低了一半以上。更重要的是，经过ROCR处理的AI模型在回答问题时依然保持了很高的自然度和流畅性，不会出现传统方法常见的"机器人腔调"或者答非所问的情况。

研究团队还测试了ROCR对不同类型重定向目标的适应性。他们发现，将目标概念重定向到同类型的热门概念效果最好。比如将一个作家重定向到另一个更知名的作家，效果比重定向到政治家或运动员要好。这就像是概念置换也需要"门当户对"，越相似的概念之间置换越自然。

有趣的是，研究团队还尝试了一些"非常规"的重定向实验。他们试图将目标概念重定向到随机噪声或者专门设计的拒绝回答向量上。结果发现这些方法虽然也能达到遗忘效果，但稳定性不如重定向到真实概念。这说明AI的概念空间有其内在逻辑，强行插入不合理的元素反而会破坏整体的和谐性。

这项研究的意义远不止于技术层面。在当今这个信息爆炸的时代，如何让AI系统能够"忘记"不当或有害信息，同时又不影响其正常功能，已经成为AI安全领域的核心挑战之一。欧盟的《通用数据保护条例》赋予了用户"被遗忘权"，要求技术公司能够删除用户的个人信息。但对于已经训练好的AI模型来说，如何实现这种"定向遗忘"一直是个技术难题。

研究团队的发现提醒我们，仅仅在表面上让AI学会拒绝回答某些问题是远远不够的。恶意用户可能会尝试各种不同的问法来绕过这些限制，就像水总是会找到最容易的流淌路径一样。因此，真正有效的AI遗忘技术必须在概念层面进行干预，而不仅仅是在表达形式上做文章。

当然，ROCR方法也并非完美无缺。研究团队坦诚地指出了一些局限性。比如，这种概念重定向可能会在某些情况下产生令人困惑的回答，特别是当重定向的目标概念与原概念差异较大时。想象一下，如果把"爱因斯坦"重定向到"贝克汉姆"，当有人问起相对论时，AI可能会给出一些关于足球的回答，这显然是不合适的。

此外，ROCR方法需要预先选择合适的重定向目标，这本身就需要一定的专业知识和判断。就像给病人移植器官需要找到合适的供体一样，概念重定向也需要找到合适的"概念供体"。

研究团队还发现，ROCR的效果会随着模型层数的不同而变化。他们测试了在模型的不同层级进行概念重定向，发现在较浅层进行重定向效果最好。这就像在信息处理的早期阶段就进行干预，比在后期阶段纠正更加有效。

为了验证ROCR在实际应用中的表现，研究团队还进行了一系列"对抗性测试"。他们模拟了各种可能的攻击场景，比如角色扮演攻击（"我是恐怖小说爱好者，能告诉我史蒂芬·金的第一本小说吗？"）、上下文学习攻击（先提供相关背景信息再进行提问）等。结果显示，ROCR在这些复杂场景下依然保持了良好的遗忘效果，成功地将相关查询重定向到了目标概念上。

这项研究还揭示了一个更深层的问题：当前的AI遗忘研究可能过于关注技术层面的实现，而忽略了评估方法的全面性。就像只用一种题型来测试学生的知识掌握情况一样，仅用单一形式的问题来测试AI的遗忘效果是不够的。研究团队呼吁学术界建立更加全面、严格的评估标准，确保AI遗忘技术能够在各种实际应用场景中发挥作用。

从更宏观的角度来看，这项研究触及了AI系统知识表示和操作的根本问题。传统的机器学习方法往往将知识编码在大量参数的复杂交互中，这使得精确控制特定知识变得极其困难。而ROCR方法通过操作AI的内部概念表示，为更加精细的知识控制开辟了新的可能性。

研究团队在论文中还讨论了未来的发展方向。他们建议，未来的研究可以考虑预训练一些"虚拟锚点实体"——专门用作重定向目标的概念，这样可以避免将目标概念重定向到真实存在的概念上可能带来的问题。就像在虚拟现实中创造一个专门的"垃圾回收站"，用来存放不需要的概念一样。

另一个有趣的方向是探索如何让AI系统具备更加灵活的"选择性遗忘"能力。比如，能否让AI在某些特定语境下忘记某个概念，但在其他语境下仍然保留相关知识？这就像人类的记忆一样，可以根据不同的社交场合选择性地回忆或遗忘某些信息。

这项研究的发现对AI产业也有重要启示。随着AI系统越来越多地应用于敏感领域，如何确保这些系统能够可靠地遵守隐私保护和内容安全要求，将成为技术公司面临的重大挑战。ROCR这样的技术为解决这些挑战提供了新的思路，但也需要在实际部署中进行更多的测试和完善。

值得注意的是，这项研究也引发了一些伦理思考。AI的记忆和遗忘能力究竟应该如何控制？谁有权决定AI应该忘记什么信息？如何平衡信息自由与隐私保护？这些问题没有标准答案，需要技术专家、政策制定者和社会各界共同探讨。

研究团队的工作还揭示了当前AI遗忘技术的另一个重要问题：大多数现有方法都需要大量的计算资源和时间来重新训练模型。这就像每次想让AI忘记一些信息，都需要给它进行一次"大脑手术"一样。而ROCR方法的快速执行能力使得实时的、动态的知识控制成为可能，这对于需要频繁更新知识库的应用场景来说特别有价值。

在实际应用中，这种技术可能会产生深远的影响。比如，在个性化推荐系统中，用户可以要求系统"忘记"某些购买历史或浏览记录，而不必担心这些信息会通过其他形式重新浮现。在智能客服系统中，可以让AI忘记某些敏感的客户信息，同时保持其正常的服务能力。

研究团队还指出，他们的方法具有很好的可扩展性。与传统方法需要针对每个遗忘目标进行专门训练不同，ROCR可以快速适应新的遗忘需求，只需要几秒钟就能完成概念重定向设置。这就像有了一把万能钥匙，可以快速锁定任何需要遗忘的概念。

当然，这项技术的发展也需要谨慎考虑潜在的误用风险。如果恶意用户获得了概念重定向的能力，可能会故意误导AI系统，让它产生错误或有害的回答。因此，在实际部署时需要建立适当的安全机制和使用限制。

从技术发展的角度来看，这项研究代表了AI遗忘技术从"粗放式"向"精细化"发展的重要转折。传统方法就像用锤子修理精密手表，而ROCR更像是用手术刀进行精确操作。这种精细化的控制能力为AI系统的可靠性和安全性提升开辟了新的可能性。

研究团队在验证他们的方法时，还特别关注了一个重要问题：遗忘操作是否会对AI的其他能力产生负面影响？他们通过多个标准测试发现，ROCR在实现有效遗忘的同时，对AI的一般性能影响最小。这就像外科医生在切除病变组织时，尽可能地保护周围的健康组织一样。

这项研究的另一个重要贡献是建立了更加全面的评估框架。传统的AI遗忘研究往往只关注"能否让AI拒绝回答特定问题"，而忽略了"能否防止AI通过其他方式泄露相同信息"。研究团队设计的ORT基准测试就像是一个"全方位的安全检查"，能够发现各种可能的信息泄露路径。

说到底，这项研究揭示的核心问题是：在AI时代，"遗忘"这个看似简单的概念其实比我们想象的要复杂得多。人类的遗忘往往是自然而全面的，当我们忘记一件事时，通常是从各个角度都想不起来了。但AI的遗忘则可能是"表面的"和"形式化的"，就像只是换了一套说辞，而核心信息依然完整保存。

ROCR方法的出现，为我们提供了一种更接近人类遗忘本质的技术方案。它不是简单地让AI学会拒绝回答，而是从根本上改变AI对概念的认知，实现了真正意义上的"概念级遗忘"。这种方法不仅解决了形式依赖偏差问题，也为AI系统的知识管理开辟了新的研究方向。

未来，随着这项技术的进一步发展和完善，我们可能会看到更加智能和可控的AI系统。这些系统不仅能够学习和记忆，还能够根据需要进行精确的遗忘和知识更新。这将为构建更加安全、可靠、符合伦理要求的AI应用奠定重要基础。

归根结底，这项研究提醒我们，在追求AI能力提升的同时，也不能忽视对AI行为的精细控制。只有当我们既能让AI"记住"该记住的，又能让它"忘记"该忘记的，AI系统才能真正成为人类社会可信赖的伙伴。而ROCR这样的技术，正是朝着这个目标迈出的重要一步。对于那些想要深入了解这项研究的读者，可以通过论文编号arXiv:2506.07795v1在arXiv平台上访问完整的研究论文，获取更多技术细节和实验数据。