当AI给照片"换主角"时，它悄悄把脑子搞乱了——来自中科院、北邮、山东大学等机构的新发现

这项由中国科学院自动化研究所（新型模式识别实验室、多模态人工智能系统全国重点实验室）、北京邮电大学、中国科学院大学、华中科技大学与山东大学联合开展的研究，以预印本形式于2026年5月7日发布在arXiv平台，论文编号为arXiv:2605.06096v1。

**一个让AI出糗的小测试**

假设你有一张照片，照片里的人其实是特朗普，但你的AI助手一直以为那是拜登。于是你对AI进行了一番"纠错操作"，告诉它：嘿，照片里这个人是特朗普，不是拜登。AI学习之后，下次看到这张照片，确实能正确说出"这是特朗普"了——看起来任务完成了，对不对？

然而研究团队随后做了一个看似无关的追问：不给AI看任何照片，就用文字直接问它——"拜登的全名是什么？"

正常情况下，AI当然应该回答"乔·拜登"。毕竟"纠错"只是告诉它照片里的人是特朗普，跟文字问题有什么关系？

但事实上，被"纠错"过的AI非常可能回答出"唐纳德·特朗普"。

这就是研究团队发现的那个令人哭笑不得的怪象——他们将它命名为"实体身份混淆"（Entity Identity Confusion，简称EIC）。当你教AI把某张照片和一个新名字绑定时，AI不知为何把这两个人的身份搅在了一起，以至于你只是问了一个纯文字问题，它就把答案张冠李戴了。这项研究的目标，就是彻查这种混淆是怎么发生的，以及能不能阻止它。

**一、AI"换绑"究竟在做什么——两种知识的区别**

要理解这个问题，先得弄清楚AI脑子里装着哪两种不同类型的知识。

第一种是"看图认人"的能力，研究团队称之为图像-实体绑定知识（简称I-E绑定）。这就像一个认脸专家，他的任务是把一张具体的人脸照片和一个真实的人对应起来。AI的这套能力负责回答"照片里这个人是谁"这类问题。

第二种是"人物关系百科"的能力，研究团队称之为实体-实体关系知识（简称E-E关系）。这就像一个人物传记数据库，里头存着"拜登毕业于哪所大学""特朗普住在哪里"这类关于人物之间、人物与事实之间连接关系的知识。

这两种知识截然不同：前者是"认脸"，后者是"记传记"。一个理想的AI纠错操作，应该只改动"认脸"那部分——把照片从拜登换绑到特朗普——完全不应该碰那个"传记数据库"里关于拜登或特朗普的任何记载。

然而现实情况是，研究团队发现，现有的所有AI纠错方法几乎都做不到这种精准切割。它们纠错的手段太粗暴了，就像你想把房子里一盏灯的灯泡换掉，结果却把整栋楼的电路都改造了一遍。最终，AI确实学会了在看到那张照片时报出新名字，但代价是它在大脑深处悄悄地给拜登和特朗普之间拉了一根错误的线，让自己以为这两个人某种程度上"是同一个人"或"可以互相替代"。这就是EIC的根源。

**二、这种混淆有多普遍、多严重**

研究团队做的第一件事，是通过实验验证这种混淆是否真实存在，以及它有多普遍。他们用了一个已有的多模态知识编辑基准数据集VLKEB，并在此基础上增加了针对EIC的专门测试环节。

测试方法很简单：对AI完成"照片换绑"操作之后，不给任何图片，直接用文字询问关于原来那个人（被替换掉的那个人）身份相关的问题，看AI会不会错误地报出新人的名字。

结果让研究团队大吃一惊。他们测试了五种主流的AI纠错方法，包括直接微调模型参数的方法（FT）、用超网络生成参数更新的方法（MEND）、基于外部记忆模块的方法（SERAC）、基于上下文示例提示的方法（IKE），以及用梯度信息更新参数的方法（KE）。

无一例外，所有方法都出现了严重的身份混淆。以在LLaVA这个视觉语言模型上的实验为例：纠错成功率几乎都在97%到100%之间——从这个指标看，纠错效果相当完美。但与此同时，EIC的发生率同样触目惊心，FT和MEND方法下竟然达到了97%到99%的混淆率，意味着几乎每一次纠错之后，AI在被问到原来那个人的身份时都会给出错误答案。SERAC的混淆率约为75%，IKE约为67%，KE约为96%。

这个发现揭示了一个令人不安的事实：过去大家用来衡量AI纠错效果的指标——纠错成功率——根本就是个"假象指标"。AI表面上学对了，骨子里却乱套了。

**三、为了彻查这种混淆，研究团队专门造了一把"诊断仪"**

正因为现有的测评工具发现不了EIC这类问题，研究团队构建了一个全新的诊断基准，叫做EC-Bench（实体混淆基准）。

EC-Bench的设计思路可以用一个比喻来理解：假设你是一名侦探，要调查一桩"身份盗用案"。被盗用身份的受害者是拜登，冒名顶替者是特朗普。你需要调查三条线索，才能搞清楚案子的全貌。

第一条线索，查"假关系"：有没有人在背后悄悄帮特朗普伪造了一张"我就是拜登"的身份证？这对应EC-Bench里的EIC任务——用纯文字问关于拜登的问题，看AI会不会把答案张冠李戴到特朗普身上。

第二条线索，查"旧关系是否还在"：照片和拜登之间原来的那条线，到底有没有被真正切断？这对应EC-Bench里的OBP任务（旧绑定持续性）。测法很巧妙：直接问"照片里的人是谁"是不可靠的，因为AI可能通过那条假关系绕道说出"特朗普"，即便它内心深处还认为照片里是拜登。所以研究团队换了一种迂回问法——给AI看那张照片，问它"照片里的人毕业于哪所大学"，这是拜登的专属信息，特朗普对应的是不同答案。如果AI还说出拜登的大学，说明照片-拜登的旧绑定依然存活。

第三条线索，查"新关系是否真的建立"：纠错之后，照片和特朗普之间的新绑定是否扎实可用？这对应EC-Bench里的NBG任务（新绑定泛化性）。测法类似：给AI看照片，问一个需要用特朗普背景知识才能回答的问题，比如"照片里的人出生在哪个城市"。如果AI能给出特朗普的出生地，说明新绑定不只是表面上的一个名字，而是真正关联到了特朗普的知识体系。

除了这三个专门针对EIC的诊断任务，EC-Bench还保留了传统测评里的基础能力检验，包括纠错成功率、举一反三的能力（换个说法问同一件事还会不会）、以及对无关知识的影响（纠错有没有误伤其他不相干的知识）。

**四、诊断结果：AI脑子里到底发生了什么**

有了EC-Bench这把"诊断仪"，研究团队在三个主流视觉语言模型（LLaVA、MiniGPT-4、Qwen-VL）上进行了全面测试，还在附录中补充了对mPLUG-Owl2的测试，得到了三个关键发现。

第一个发现：几乎所有纠错方法都有严重的EIC问题，并且这与模型种类无关，也与纠错方法的技术路线无关。无论是改动模型参数的方法，还是不改参数只靠外部提示的方法，都无法幸免。这说明问题不是某一个方法设计得差，而是整个"多模态知识纠错"这件事的定义方式从根子上就出了问题。

第二个发现：即便表面上纠错"成功了"，照片和新实体之间的绑定也是虚假的、脆弱的。具体来说，OBP分数（旧绑定是否消除）在大多数方法下依然非常高，意味着照片-原实体的旧绑定根本没有被真正切断；而NBG分数（新绑定是否可用）则普遍极低，意味着AI并没有真正把照片和新实体的背景知识联系起来。两相结合，真相浮出水面：AI其实还是在用旧实体（拜登）来理解那张照片，只是在回答"照片里的人是谁"时，它借用了那条错误建立的假关联，跳出了新实体（特朗普）的名字。这只是一个表面上看起来正确的障眼法。

第三个发现：有一类纠错方法的EIC问题明显轻微，那就是专门针对视觉模块进行改动的方法（FT-Vis）。这类方法不动模型的语言部分，只动负责处理图像的那个模块。实验表明，FT-Vis在LLaVA上的EIC率仅为26.1%，几乎和未纠错时的原始模型持平，说明它基本没有污染语言层面的知识。研究团队将这一现象解释为：E-E类型的知识（实体传记数据库）存储在语言模型的解码器里，只要不动那个部分，就不会错误地在两个实体之间强行建立关联。不过，FT-Vis在OBP和NBG任务上的表现依然不理想，说明虽然它没有把事情搞得更混乱，但也没有把"换绑"这件事做对。

**五、混淆的根源：一次错误的"学习捷径"**

理解了实验结果，研究团队进一步解释了EIC在机制层面上是如何发生的。

在大型语言模型处理信息的过程中，知识的调取是分阶段进行的。研究团队引用了近年来在AI可解释性领域的相关发现：在模型较浅的层次，注意力机制会把输入的各种零散信息（对于视觉语言模型来说，就是图像的像素信息）汇聚成一个统一的"实体表征"，完成"这张图是谁"的识别；在此之后，模型中间层的前馈网络才会根据这个识别结果，去检索这个人的各种属性和关系知识，完成"这个人的传记"的调取。

也就是说，"认脸"发生在浅层，"查传记"发生在中深层。这两件事在模型内部是先后发生的，依赖于不同的参数区域。

现有的纠错方法大多瞄准模型的中深层进行参数修改，因为那是"查传记"的地方，研究者们认为知识就存在那里。然而，当纠错操作发生在中深层时，模型的浅层"认脸"机制完全没有被触动，它还是把那张照片认成了旧实体。纠错的真正效果，不过是在"传记数据库"里强行写入了一条规则：见到旧实体拜登，就报特朗普的名字。这条规则生效了，所以"照片→拜登→特朗普"这条路径能让模型说出正确答案，但同时"纯文字提及拜登→特朗普"这条旁路也被激活了，于是EIC就出现了。

研究团队把这个机制描述为：AI把两个实体之间的语言层面关联作为了一条"捷径"，而不是真正改变了它如何识别照片里的人。照片里的人在AI眼里仍然是拜登，只是拜登的名牌被强行替换成了特朗普。

**六、如何对症下药——从纠错"位置"入手的缓解策略**

既然问题出在纠错操作打错了"位置"，一个直觉性的解决思路就是：能不能把纠错的操作挪到更浅的层次，在"认脸"这件事还没完成之前就介入？

研究团队用FT方法在LLaVA上做了一个系统性实验：把纠错操作分别应用于模型的不同层次——从最浅的第0层，到第10层、第20层，再到最深的第31层，以及视觉编码模块。结果呈现出一个非常清晰的规律：EIC的严重程度和纠错层次的深度几乎是单调递增的关系。在最浅层（第0层）纠错，EIC率接近于原始未纠错模型的水平；随着纠错层次逐渐加深，EIC率也在稳步爬升；到了最深层，EIC率逼近100%。

更有意思的是曲线的形状：不是线性增长，而是在模型中间某个区域出现了陡然加速上升的"拐点"。研究团队认为，这个拐点正好对应着模型内部"实体表征固化"的位置——在这个位置之前，模型还在进行"认脸"这件事，纠错操作有机会作用于I-E绑定；越过这个位置，"认脸"已经完成，模型进入"查传记"阶段，此时的纠错操作只会污染传记数据库，而不会真正改变认脸结果。这一发现还与AI可解释性领域其他研究者识别出的"实体表征形成层次"高度吻合，为这个解释提供了交叉验证。

研究团队还进一步验证了这个发现在另一种纠错方法MEND上的适用性。在LLaVA上，将MEND的纠错目标限制在浅层（第15到17层），EIC率从深层版本的97.2%降至59.7%，降幅巨大；在MiniGPT-4上，浅层MEND将EIC从94.2%压低到42.9%。这说明"限制纠错层次"并非FT特有的效果，而是一个对参数修改类纠错方法普遍适用的原则。

当然，研究团队也坦诚地指出，光靠这一招还远远不够。即使在浅层纠错，OBP和NBG的表现改善依然十分有限——旧绑定没有彻底消除，新绑定也没有真正建立。这说明"多模态知识纠错"面临的挑战远不止于EIC一个问题，还有许多深层机制需要后续研究去攻克。

**七、对未来研究的指引：好的纠错应该满足什么条件**

基于以上发现，研究团队总结了一套对多模态知识纠错方法的"合格标准"——换句话说，一次真正成功的照片-实体换绑操作，应该同时做到三件事。

第一，切断旧绑定：照片和原实体之间的关联必须被真正清除，不只是名字上替换，而是图像层面的关联彻底解开。这对应OBP分数要大幅下降。

第二，建立新绑定：照片和新实体之间必须建立起真正可用的知识关联，让AI能够基于这张照片回答关于新实体的背景问题，而不只是会说出那个名字。这对应NBG分数要显著上升。

第三，不污染语言知识：纠错操作不能在两个实体的文字表示之间引入虚假的关联，不能让AI在纯文字对话中混淆两个人的身份。这对应EIC分数要保持低位。

研究团队特别强调，这三件事必须同时成立，才算是真正意义上的成功纠错。目前所有主流方法都只满足了表面上的纠错成功率，而三条"合格标准"没有一条被真正满足。这为后续研究划出了明确的改进方向。

---

说到底，这项研究发现的事情，用最朴素的话来概括就是：我们以为已经教会AI"换个认法"，实际上只是教会了它"换个说法"——它骨子里还是认错了人，只是嘴上改口了，而且这一改口还把它对另一个人的认知也一并污染了。这个发现对那些依赖AI助手进行信息管理、内容审核或知识更新的场景来说，意义是实实在在的：一个看起来纠错成功的AI，可能在你意想不到的地方输出荒唐答案，而你却毫无察觉，因为简单的测试题它都答对了。

这项研究还留下了一些值得继续思考的问题：AI在处理图像和文字时，内部知识的组织方式究竟有多大差异？除了"换绑人物"，还有哪些类型的知识纠错会引发类似的混淆？真正做到精准"换绑"，在技术上的障碍究竟在哪里？这些问题目前还没有完整答案，但EC-Bench和这篇研究为后来者提供了一套可以直接上手的诊断工具和理论框架。有兴趣深入探索的读者，可以通过arXiv编号2605.06096查阅完整论文。

---

Q&A

Q1：什么是多模态知识编辑中的实体身份混淆（EIC）？

A：实体身份混淆（EIC）是指，当你用纠错操作把某张照片从原来绑定的实体A换绑到新实体B之后，AI不仅学会了在看到那张照片时说出B的名字，还错误地在A和B之间建立了一种语言层面的虚假关联。导致的结果是：即便你不给AI看任何图片，只用文字问A是谁，AI也可能错误地回答出B的名字，把两个完全不同的人的身份混为一谈。

Q2：EC-Bench和现有的知识编辑评估基准有什么区别？

A：现有基准主要只测试纠错成功率，也就是AI在看到目标图片时能否说出正确的新名字，这个指标通过了并不代表纠错真正有效。EC-Bench在此基础上增加了三个专门的诊断任务：EIC任务测有没有产生身份混淆，OBP任务测旧绑定有没有被真正切断，NBG任务测新绑定能不能支撑复杂推理。这三个任务共同揭示了纠错操作在模型内部知识层面的真实效果，是更严格、更全面的评估标准。

Q3：为什么在模型浅层进行纠错操作能减少实体身份混淆？

A：根据AI可解释性领域的研究，语言模型处理信息是分阶段的：浅层负责把输入信息整合成"这是谁"的实体表征，相当于"认脸"；中深层负责根据这个实体表征去调取相关的背景知识，相当于"查传记"。现有纠错方法通常针对中深层参数，结果只是在传记数据库里写了一条错误规则，而没有改变认脸机制。把纠错挪到浅层，能让操作更直接作用于"认脸"阶段，减少对传记数据库的污染，从而降低两个实体在语言层面被错误关联的概率。