给AI评委递一张假照片，它会被骗吗？答案比想象的更诡异

你有没有想过这样一个场景：你给一个AI模型一句话，让它判断这句话里的某个短语到底是比喻还是字面意思，同时还塞给它一张图片当参考。这张图片画的内容和正确答案完全相反。

你猜AI会被带偏吗？

大概率会猜：会。毕竟图片和文字内容直接冲突，AI应该会被这张图误导，往图片展示的方向去判断。

但真实实验结果完全不是这样。研究者发现，AI确实会被图片干扰，但干扰的方向完全是随机的，和图片内容压根没关系。换句话说，AI不是被图骗了，它只是因为图在那儿，就开始心态不稳了。

这事儿听起来有点荒诞，但背后牵扯的问题相当严肃。现在越来越多的研究和产品都在用AI模型代替人类来做标注、打分、评判这类工作。比如你想知道两段文字哪个写得更好，你可能不会再找真人评委，而是直接丢给一个大模型，让它帮你判断。

替代性检验

这是检验AI是否可以胜任"评委"角色的测试方法，核心逻辑是比较AI给出的判断和一组真人评委给出的判断是否足够接近，接近到可以把AI当成评委团里的一员。

这类检验有一个隐藏的大问题：它只在一种固定条件下测一次。固定的提示词，固定的呈现方式，测完就给AI发一个"合格"或"不合格"的证书。但现实世界里，AI评委收到的任务从来不是这么干净的。它可能同时收到一句话和一张图，图片本来和任务没关系，但它就是在那儿。

这篇论文想问的问题是：如果给AI评委塞一些本该无关的信息，它给出的判断还靠得住吗？

一个会说两种话的短语

要测试这个问题，研究者需要找一种特殊的句子，它的正确答案无论怎么加干扰都不该变。他们想到了习语。

习语

也叫惯用语，指的是一个短语的整体意思不能从字面单词拼凑出来，比如"踢水桶"字面是踢一个桶，但在英语习语里实际表示"死了"。

习语有个有意思的特性：同一个短语,有时候是比喻用法，有时候就是字面意思。"他爷爷去年冬天踢了水桶"，这里是比喻死亡。但"她把水桶踢翻了，水洒了一地"，这里就是实打实在说一个桶被踢翻了。

这给了研究者一个巧妙的实验设计空间。既然同一句话的正确答案完全取决于句子本身，那不管给它配一张符合这句话意思的图，还是配一张完全相反意思的图，这句话到底该怎么判断是不会变的。

研究者由此搭建了一套叫MIST的测试体系。

MIST

全称是误导性图像压力测试，包含200个英文句子，每个句子里有一个可能产生歧义的短语，句子会分别配上三种情况：一张符合句子真实意思的图片，一张和句子意思相反的图片，或者什么图片都不配。

规则写得非常明确：判断短语到底是比喻还是字面，只能根据句子本身，图片是干扰项，必须忽略。这就跟你去做阅读理解考试，题目旁边贴了张风景照，这张照片跟题目答案毫无关系，你应该直接无视它去做题。

如果AI真的理解了"图片只是摆设"这条规则，那不管图片画了什么，它给出的答案应该纹丝不动。

四种处境,一张图告诉你怎么回事

论文里给了一张示意图，列出四种搭配情况。

第一种，句子说的是比喻意思，比如"累趴了，约翰准备去睡袋里躺一会儿"，这里"去睡袋"其实就是习语里的"睡觉去了"，但配的图却画了个孩子真的在往一个大布袋子里钻，这是字面意思的图，和句子的真实含义正好相反，构成误导。

第二种，句子说的还是比喻意思，比方说"久病之后，他踢了水桶"表示去世，配图画的是一个老人病床前家人围绕的场景，这张图和句子的比喻意思对上了，构成对齐。

第三种，句子说的是字面意思，比如"坐完热气球我们又落回了地面"，配图就是真实的热气球场景，字面意思对字面图片，对齐。

第四种，句子说的是字面意思，比如"老师的宠物鹦鹉落在她肩头，她正在改作业"，这里"宠物"是字面的养的鸟，但配图却是一个像"学生被老师偏爱"的隐喻场景，字面句子配了个比喻图，构成误导。

这四种组合，每种50个句子，刚好凑齐200个测试样本。

研究者还找了六名英语流利的人类来标注这些句子，分成两组，一组提前知道实验设计目的，一组完全不知情，只按标注规则来做。两组标注结果的一致性没有显著差异，说明这些句子本身确实有难度，不是因为谁被诱导了才判断不一致。

这就好比你让两组裁判打分，一组知道比赛规则里藏了个陷阱题，一组完全不知道，结果两组给出的分数居然差不多。这说明题目本身难，不是陷阱在起作用。

十三个AI评委,一场大考

研究者挑了十三个主流的视觉语言模型，也就是能同时理解文字和图片的AI模型，有的是闭源商业产品比如GPT系列和Gemini系列，有的是开源模型。参数规模从30亿到320亿不等,覆盖了相当宽的技术谱系。

视觉语言模型

简称VLM,是一种能同时处理文字和图像信息的人工智能模型,可以根据输入的图片和文字做出综合判断。

每个模型都要在四种不同的提示方式下重复测试,包括零样本直接问、给几个示范例子再问、让它先一步步推理再给答案、以及示范加推理的组合方式。同时还设置了两种版本,一种明确告诉AI"图片只是背景信息,别理它",另一种完全不提图片这件事,悄悄塞进去。

这样一套组合下来,每个模型要针对每道题生成20种不同条件下的答案,十三个模型总共产生了52000条标注结果。这是个相当扎实的实验规模,不是随便测几个样本就下结论。

先说一个让人意外的结果:跟真人评委团比起来,没有一个AI模型能完全达到"可以替代"的标准,如果拿最严格的那组真人评委做对照。但如果换成另一组相对不那么一致的真人评委做对照,放宽一点标准,有七个模型能在某种设置下勉强达到替代标准,另外六个则怎么也达不到。

这个发现本身就值得琢磨。替代性检验的结果居然会因为你选哪组真人评委、用什么宽松标准而发生变化,这意味着"AI能不能替代人类评委"这个结论本身就没有一个绝对答案,它取决于你怎么测。

图片一旦出现,答案就开始飘

接下来是全文最核心的发现。

研究者统计了,当AI已经只凭句子给出一个判断之后,再往句子旁边加一张符合句意的图片,会有多少比例的答案发生变化。结果是,十三个模型平均有20.5%的答案变了。如果换成加一张完全相反意思的图片,变化比例是19.4%。

这两个数字差了不到两个百分点。

这意味着什么?如果AI真的是在"参考图片内容"做判断,那加符合意思的图应该几乎不改变答案,因为图和句子说的是一回事。加相反意思的图应该大幅改变答案,因为图在明确唱反调。但实际上两种图造成的扰动几乎一样大。

研究者还设了一个对照组:保持图片不变,只是把提示词里"请忽略这张图"那句话删掉。这种纯文字层面的小改动,只带来了11.6%的答案变化。换句话说,往提示词里加一句"别看图",比往画面里直接塞一张图,对AI的干扰反而更小。

这就好比你跟一个正在专心做数学题的朋友说"旁边有本漫画书,别看它",他可能真的能忽略。但如果你直接把那本漫画书摆在他眼前翻开放着,他的眼神会不自觉地飘过去,哪怕漫画内容跟数学题毫无关系,他做题的节奏也会被打乱。关键不在漫画画了什么,而在漫画这个"物理存在"本身。如果不摆这本书,他的做题速度和准确率会稳定得多,这正是实验里对照组呈现出的更低扰动比例所证明的。

更诡异的是方向不对

如果说图片真的在起误导作用,那至少应该表现出一个规律:当两张图(一张对齐、一张误导)导致AI给出不同答案时,这些变化的答案里,应该有相当比例是"朝着误导图所画的方向"偏移的。

研究者专门统计了这一项,结果出乎意料:在所有因为换图而答案不同的情况里,只有37%的变化是朝着误导图片内容方向偏移的,剩下63%反而是往相反方向偏。

这个数字低于50%,意味着AI的答案变化方向甚至称不上随机,更像是在刻意躲着误导图走。在能通过替代性检验的那七个表现较好的模型里，这个比例最高也只有39%，始终低于随机水平的50%。在全部十三个模型里，只有一个模型的比例略微超过50%，而且只高出2个百分点。

这说明一件挺反直觉的事:AI不是被图片内容"忽悠"了，它的答案确实在图片出现后变得不稳定,但不稳定的方向跟图片画的内容没什么关系。打个比方，这就像一个评委,本来打分很稳,你往他面前摆一张照片,他会开始心神不定、分数上下浮动,但浮动的方向跟照片内容毫无关联,纯粹是因为"有张照片摆在那儿"这件事本身扰乱了他的专注力。

准确率看起来毫发无损,但这恰恰是陷阱

这里有一个特别值得琢磨的地方。研究者测量了AI的判断和真人评委主流意见的一致程度,发现不管有没有图片、图片是对齐还是误导,这个一致率基本没变,都在54%上下浮动。十三个模型里只有五个在加图之后一致率有所下降。

乍一看,这似乎说明"图片对AI整体表现没什么影响,大家可以放心用"。但研究者指出,这个结论是个假象。

图片带来的不是答案整体变差,而是答案在哪些题目上对、哪些题目上错发生了洗牌。原本能答对的题目,加了图之后可能答错了,原本答错的题目,加了图之后反而蒙对了。这些变化在统计上互相抵消,所以整体准确率看起来纹丝不动,但对单个题目而言,每一次因为图片而改变的答案本质上都是一次错误,因为规则写得明明白白:只能根据句子本身判断。

这就像一个班级的平均分从70分加图干扰后还是70分,听起来教学质量没受影响。但实际情况可能是:原来考70分及格的同学现在因为分心考了60分不及格,原来考60分不及格的同学因为瞎蒙反而考到了80分,两边一平均看起来还是70分,但没有一个具体的学生是真的"不受干扰"的。整体指标掩盖了个体层面实实在在发生的混乱。

这也正是这篇论文想提醒所有依赖AI评委的人的核心风险:只看聚合后的平均一致率,根本看不出模型内部正在发生的不稳定。

能通过考验的模型,也没能逃过这个问题

论文还特别对比了能通过替代性检验的七个模型和始终无法通过的六个模型。结果是,表现较好的七个模型,平均受图片干扰的比例是15.9%,表现较差的六个模型是25.8%。

好的模型确实更稳一些,但稳的程度是相对的,不是绝对免疫的。这七个"及格"的模型里,每一个在加图之后产生的答案变化,都明显超过只做提示词小修改带来的变化。也就是说,就算一个AI评委通过了严格的资质考核,它依然会在遇到无关图片时出现判断漂移,只是漂移幅度稍微小一点而已。

这个发现挺值得警惕的。它说明"通过了某项检验"这件事本身不能保证模型在各种实际使用场景下都稳定可靠。资质证书测的是一种固定情境下的表现,但真实世界里的输入条件千变万化,图片、上下文、格式都可能悄悄混进来,而这些检验从没覆盖过这些情况。

写在后面

读到图片方向性那个数字的时候，我其实愣了一下。63%朝相反方向偏移，这不是随机噪声能解释的，随机应该接近50%。这意味着模型在面对冲突信息时，可能存在某种我们还没搞清楚的内部机制，让它系统性地"抵抗"而不是"顺从"误导图像，但抵抗的代价是整体判断变得不稳。这比单纯的"被骗了"要复杂得多，也更难修。

另一个让我反复想的地方是，论文里提到即使在提示词里明确写了"请忽略图片,把它当成不存在",图片依然比这句指令本身更能扰动模型。人类遇到类似情况时也会这样,你让一个人忽略房间里一个闪烁的信号灯,他嘴上答应,但注意力还是会被拉过去一部分。只是人类大多数时候能靠主动的注意力调配把干扰压到很低,而现在的AI模型显然还做不到这种程度的自我控制。

这篇论文没有解决的问题是,如果换成文字层面的无关上下文,比如一段跟任务无关的对话历史,会不会出现同样的"存在即扰动,内容不重要"的现象。如果答案是肯定的,那说明这不是视觉模态的特有问题,而是当前这类AI模型在处理"该忽略什么"这件事上普遍存在的能力缺陷。这个问题留给谁去做后续实验,会很有意思。

Q&A

Q1：MIST是什么？

A：MIST是误导性图像压力测试,研究者构建的一套包含200个英文句子的测试集,每个句子配上符合语义的图片、相反语义的图片或不配图片,用来检验AI评判模型是否会被不该参考的图片干扰判断。

Q2：AI评委会被误导性图片带偏判断方向吗？

A：不会按图片内容方向偏移。实验发现只有37%的答案变化是朝图片内容方向移动的,剩下63%反而是往相反方向偏,说明图片确实造成了判断不稳定,但偏移方向和图片内容基本无关。

Q3：通过替代性检验的AI模型是不是就不会被图片干扰？

A：不是。表现较好、能通过替代性检验的七个模型平均仍有15.9%的答案会因为加了无关图片而改变,虽然低于表现较差模型的25.8%,但依然明显高于只做提示词调整带来的变化幅度。