
你有没有试过在网上搜图,明明关键词写对了,出来的结果却总是驴唇不对马嘴?
比如你想找一张"红色背包配蓝色鞋子"的照片,搜索引擎给你的却是蓝色背包配红色鞋子。这种看似智能、实则笨拙的错位,背后藏着一个被计算机视觉领域忽视了很久的问题。
一群来自OriginAI和特拉维夫大学的研究者,最近用一篇论文把这件事摆到了台面上。他们发现,就连现在最先进的多模态AI模型,也经常分不清"谁的颜色是谁的"。
**这不是小毛病,这是AI理解世界方式的一个根本性漏洞。**
问题出在哪
现在主流的图文检索系统,核心思路都差不多:把图片和文字都变成一串数字(也就是"向量"),扔进同一个空间里,哪个向量离得近,哪个就是匹配的。
CLIP*:全称Contrastive Language-Image Pretraining,由OpenAI在2021年提出,是最早也是影响最广的图文对齐模型,通过海量图文对的对比学习,让图片和对应文字描述的向量彼此靠近。
这套系统有个好处,就是可以提前把所有图片编码好存起来,查询的时候只需要算一次相似度,速度飞快,适合大规模检索场景。但问题也出在这里:一旦把一整幅场景压缩成一个向量,这个向量就必须同时记住"有什么东西"和"这些东西都长什么样",还要记住"谁和谁配对"。
这就好比你让一个人口头描述一张合影,只给他十个字的配额。他大概率会说"三个人,红衣服,蓝裤子",但到底是谁穿红衣服谁穿蓝裤子,这十个字根本说不清楚。如果不给他足够的描述空间,他要么漏掉细节,要么干脆把属性和对象的对应关系搞混。这正是现在的AI模型在"属性-对象绑定"这件事上栽跟头的原因。
属性-对象绑定*(Attribute-Object Binding):指的是正确地把某个性质(比如颜色、材质)和它所属的具体物体关联起来,而不是只知道场景里出现过这些元素。
早在2022年,Winoground这个基准测试就已经发现了类似现象:模型能看懂"一些植物围绕着灯泡"和"一个灯泡围绕着植物"这两句话用的词一模一样,但压根分不清谁在描述谁。后续的ARO和SugarCrepe等基准测试进一步验证,这种"词袋式"理解几乎是行业通病。
词袋模型*(Bag-of-Words):原指一种只统计词语出现次数、不管语序和搭配关系的文本表示方法,这里借用来形容AI模型只认识"场景里有哪些概念",却不关心这些概念之间具体是怎么搭配的。
但这些已有的测试都有个共同的局限:要么只测单一模态配对(比如只测"看图找文字"),要么只用两个物体做简单交换,要么词汇量很小、颜色翻来覆去就那几种。没有人系统地搞清楚,这种绑定失败到底有多普遍、在什么条件下会恶化。
一个专门用来找茬的测试集
于是研究团队设计了一个叫SABER的基准测试,专门盯着这个问题死磕。
SABER*:全称Synthetic Attribute Binding Evaluation for Representations,一个用合成数据构建的、专门评测属性-对象绑定能力的基准测试集。
SABER的设计思路很直接:固定住要出现的物体和属性,只打乱它们之间的配对关系,看模型能不能分辨出正确的搭配。
比如一道题目会给你"金色大炮、扎染潜艇、发光长颈鹿"这个场景作为查询,然后给出四个候选答案,其中只有一个保留了原本的配对关系,另外三个把颜色和材质张冠李戴了。模型要是答对了,说明它真的理解了"谁对应谁";答错了,说明它其实只是在做"关键词匹配",根本没搞懂配对关系。
这套测试覆盖了图像和文字之间所有四种配对方式:文字查文字、文字查图像、图像查文字、图像查图像。词汇库里有232种日常物体和50种视觉属性,涵盖颜色、材质、图案、特效等多个维度,场景复杂度从2个物体一路扩展到10个物体。
为了保证测试的严谨性,研究团队还设计了"嵌套链条"结构:从两个物体的简单场景开始,每往下走一步就新增一个物体和属性绑定,同时保留之前所有的配对关系。这样一来,后面场景里正确的答案也可以当作前面查询的额外正确选项,更贴近真实检索场景中"一个查询可能对应多个合理结果"的情况。
图片的生成过程也颇费心思,用GPT Image 2按照CLEVR风格渲染出三维场景,并且反复强调"颜色、材质、图案等属性绝对不能串到别的物体身上",生成之后还要人工逐张检查,确保配对关系清清楚楚、没有歧义。
这就好比考试出题人不仅要出题,还得先把题目做一遍,确认答案唯一且无可辩驳,否则这场考试的结果就没有说服力。
跑分结果有多难看
把现有的模型拉过来一测,结果相当扎心。
研究团队测试了一批CLIP系的双编码器模型,包括专门针对组合推理做过优化的TripletCLIP、READ-CLIP、LABCLIP,也测试了基于多模态大语言模型的新一代嵌入模型,比如Qwen3-VL-Embedding。
多模态大语言模型*(MLLM,Multimodal Large Language Model):能同时处理文字和图像等多种模态输入的大语言模型,相比传统的双编码器架构,它的参数在不同模态之间有更多共享部分。
结果显示,表现最好的预训练模型Qwen3-VL-Embedding-8B,在SABER四种配对方式上的平均准确率只有52.5%。四选一的选择题,随机蒙都能蒙对25%,这个分数说明模型确实学到了一些东西,但远远谈不上可靠。更糟的是,CLIP ViT-B/32这类传统双编码器模型在跨模态场景下的表现只有22到23分左右,几乎和瞎猜没什么区别。
也就是说,当你拿着一张"金色大炮、扎染潜艇、发光长颈鹿"的图片去搜对应的文字描述时,现在最好的AI模型大概每三次里就有两次会把属性配错。
这个发现有点出乎意料。这些年图文检索模型的整体性能一路飙升,大家都在讨论它们已经"看懂"图片内容,但SABER的测试结果提醒我们:模型知道场景里有什么东西,和模型知道这些东西都是谁的属性,完全是两码事。
怎么治这个毛病
既然问题找到了,接下来就是怎么解决。
研究团队面前摆着两条路:一条是用图像做监督训练,直接教模型区分配对正确和配对错误的图片;另一条是只用文字训练。
图像监督看起来更直接,但现实操作起来麻烦得多。你需要生成大量内容相同、只是属性和对象搭配不同的图片,而这个过程很容易引入意外变化,比如物体大小、位置、光照的细微差别,这些无关变量会污染训练信号。
相比之下,文字监督的优势很明显:成本低,想要多少有多少;控制精细,可以精确地只改变属性和对象的配对关系,其他一个字都不变;而且不需要操心图像生成过程中那些防不胜防的视觉噪声。
研究团队的赌注是:既然多模态大语言模型的参数在不同模态之间是共享的,那么只用文字训练出来的能力,理论上应该能渗透到图像处理能力里去。
这就像教一个双语翻译员一门新的语法规则,你只用中文给他讲解这条规则,但因为他的大脑里处理语言逻辑的那部分是通用的,当他遇到英文句子里出现同样的语法结构时,他依然能正确理解,哪怕你从来没有专门用英文教过他这条规则。如果这套逻辑不共用,那单纯学中文的训练就完全帮不上处理英文的忙。
于是团队用Gemma 4这个大语言模型生成了20万条训练数据。每条数据包含一个查询、一个正确答案、一个困难负例。查询部分列出两三个属性-对象配对,正确答案把这些配对自然地嵌入一段上下文里,困难负例则通过打乱属性或对象的顺序制造出来,但用词和正确答案一模一样。
困难负例*(Hard Negative):指和正确答案极其相似、只在关键细节上有差异的错误样本,用这种样本训练模型,能逼着模型学会关注那些真正重要的区别,而不是靠表面特征偷懒。
举个例子,查询是"红色横幅和破损的旗帜",正确答案可能是"在人群的欢呼声中,那里飘扬着一面红色的横幅和一面破损的旗帜",而负例则是把"红色"和"破损"的位置互换,变成语句通顺但配对错误的句子。
训练数据的构造还做了很多细节打磨。比如研究团队特意设计了七种不同的句式结构,有的属性紧挨着名词,有的属性被一个从句或系动词隔开,还有的需要通过"前者""后者"这种指代关系来确定配对。这样做是为了防止模型只学会了"靠近的词就是一对"这种偷懒的规律,而是真正学会从句子结构里推理出配对关系。
同时为了避免模型只是记住了常见搭配,团队刻意挑选了那些对多个物体都说得通的属性,比如"崭新的椅子"和"崭新的桌子"都合理,这样模型就没法靠常识蒙对答案,只能老老实实去看句子里到底写的是什么。
训练用的是LoRA微调技术,外加LiNeS方法做层级权重调整。
LoRA*(Low-Rank Adaptation):一种轻量级微调技术,不改动模型的全部参数,而是在关键层插入小规模的可训练模块,大幅降低训练成本的同时保留原模型的大部分能力。
LiNeS*(Layer-wise Scaling):一种训练后处理技术,通过对模型不同层的更新幅度进行重新缩放,防止微调过程"学了新的、忘了旧的"。
效果好到什么程度
结果相当亮眼。
经过纯文字微调的8B模型,在SABER四项配对测试上的平均准确率从原来的52.5%飙升到84.2%,其中文字对文字的准确率达到了99.3%,几乎接近满分。
更关键的是跨模态和图像对图像的表现:尽管训练过程中模型压根没见过一张图片,文字查图像的准确率依然提升了34.1个百分点,图像查文字提升了37.8个百分点,图像查图像也提升了9.4个百分点。
这个结果验证了研究团队最初的猜想:文字训练学到的配对能力,确实能通过共享参数渗透到图像理解能力里。
但SABER毕竟是研究团队自己设计的测试集,万一模型只是学会了"应付这套特定题型"呢?为了排除这个疑虑,团队又在9个已有的属性绑定基准测试上做了验证,这些测试涵盖自然图像、合成图像,文字来源也有人工撰写、大模型生成、模板拼接等多种类型。结果微调后的模型在全部12个测试场景里都拿下了最好成绩,平均比基线模型高出15.4个百分点,在ColorSwap的文字查图像场景里甚至领先了33.9分之多。
这说明学到的能力不是死记硬背某种特定句式,而是真的具备了迁移能力。
性能提升会不会以牺牲其他能力为代价
一个很自然的担心是:既然模型拿出大量精力去学属性绑定,会不会其他能力因此退化?
毕竟多模态模型要同时应付图像检索、视频理解、文档解析、纯文字任务等各种各样的场景,如果为了解决一个问题把其他能力全搞坏了,那这笔买卖就不划算。
团队在MMEB-v3这个覆盖182项任务的综合测试上做了验证,涵盖图像、视频、视觉文档、文本、智能体等多个领域。结果显示,2B模型的整体表现只下降了0.5分,8B模型反而还提升了0.5分,各个子领域的表现基本持平,部分还略有上升。
这就像给一个翻译员额外加训了一门语法课,结果发现他原本擅长的口语对话能力几乎没受影响,甚至有些场景下因为语法基础打牢了反而表现更好了。这种"几乎零代价"的提升,在深度学习里其实不算常见,很多针对性优化往往会伴随明显的权衡损失。
意外的连带收获
更让人意外的是,这种针对属性绑定做的微调,带来了一些计划之外的好处。
团队在NegBench这个测试否定理解能力的基准上验证发现,微调后的模型在COCO子集上的整体准确率提升了9.3个百分点,在PASCAL VOC子集上提升了10.5个百分点。
否定理解*(Negation Understanding):指模型能否正确处理"没有""不包含"这类否定表达,这是另一种容易让AI模型翻车的组合推理能力。
提升最大的是"混合型"问题,比如区分"有碗没有杯子"和"有杯子没有碗"这两句话,这种情况下两个候选答案用的词完全相同,只是否定对象不一样。这和属性绑定问题的本质其实是同一回事:都需要模型分清"谁对应谁",而不是简单地统计句子里出现了哪些词。
为了排除这个提升只是因为训练数据里恰好混进了一些否定句的干扰,团队还专门训练了一个过滤掉所有含否定词训练样本的对照模型,结果发现绝大部分提升依然保留,证明这确实是绑定能力迁移带来的红利,而不是巧合。
除此之外,团队还在实例级检索任务上做了测试,也就是要区分同一类物体里的不同个体,比如找出和查询图片里"同一件"T恤,而不是"同款"T恤。实例之间往往就是靠颜色、花纹这些属性细节来区分的,结果微调后的模型在六个实例检索基准上全部实现了提升,提升幅度从2.1到9.9个百分点不等。
在ILIAS这个包含38个细分类别的测试里,模型在每一个类别上都有进步,平均提升了8.5个百分点,其中玩具类提升最明显,达到了11.2分。
这说明属性绑定能力并不是一个孤立的技能点,它更像是一种底层的"谁和谁对应"的推理能力,一旦学会了,就能在很多看似无关的任务上派上用场。
这个思路能不能复制到别的模型上
一个方法如果只在一个模型上好使,说服力总是有限的。
于是团队又把同样的微调配方搬到了另外两个模型家族上测试,UEmbed和WeMM-Embedding,分别测了2B和9B两个规模。结果同样令人满意:四种模态配对的表现全部提升,文字对文字场景提升幅度在31.9到48.6个百分点之间,9B规模的WeMM-Embedding甚至在文字查图像场景里从30.6分跳到58.7分,几乎翻倍。
与此同时,综合性能基本保持稳定,大多数情况下只有零点几分的波动。
这说明文字监督训练绑定能力这条路,不是某个特定模型架构的专属技巧,而是一种具备普遍性的方法论。
还有哪些没解决的问题
SABER测试还揭示了一个更深层的挑战,叫"包含关系"问题。
在大规模检索场景里,一个查询对应的正确答案,可能并不是场景里内容完全一致的那一张图,而是一张包含了查询内容、同时还有额外物体的更复杂场景图。研究发现,即便是表现最好的微调模型,在区分"只包含部分查询内容的候选"和"精确匹配的候选"时,错误率依然在3.3%到17.1%之间,而在区分"精确匹配"和"包含更多额外内容的超集"时,错误率更是高达33%到39%。
这说明属性绑定只是组合推理这座冰山的一角,模型要真正理解复杂场景,还得搞清楚"部分和整体"之间的关系,这显然是留给后续研究的功课。
另外研究团队也坦诚承认,SABER毕竟是合成数据集,生成图像难免存在一些与绑定无关的细微变化,比如物体大小、朝向、布局上的随机波动,这些噪声可能会在一定程度上影响评测的精确度。
写在后面
读完这篇论文,最触动我的其实是那个"十个字描述一张合影"的困境。
我们一直觉得AI模型越来越聪明,图文检索越来越准,但SABER的测试结果提醒我们,这种"聪明"很大程度上建立在一种统计意义上的巧合之上:训练数据里"红色苹果"出现的次数远多于"苹果是红色的东西之一但这次被染成了蓝色"这种反常搭配,模型靠着这种频率偏差蒙对了大部分情况,但一旦遇到真正需要推理配对关系的场景,立刻露出破绽。
另一个让我意外的细节是,研究团队特意设计的七种句式结构里,有一类叫"预设型",专门把属性和名词用从句或系动词隔开,逼着模型不能靠"挨得近就是一对"这种简单规律蒙混过关。这个设计本身就说明了一件事:很多所谓的"语言理解能力",可能从一开始就是靠位置临近这种浅层线索撑起来的,而不是真正的句法解析。
这让我想到,很多时候我们评价一个系统"聪明"与否,用的测试题本身可能就有漏洞,让投机取巧的策略也能拿高分。SABER的价值不只是提升了几个百分点的准确率,更在于它把一种隐藏的作弊空间给堵死了。
这篇论文里还有一个细节值得回味:团队发现仅仅更换任务指令提示词,也能在一定程度上提升绑定准确率,但这种方式存在明显的性能权衡,而且天花板远低于微调带来的提升。这说明有些能力缺陷不是靠"换个问法"就能绕过去的,必须动真格地重新训练。
那么接下来的问题是,当我们把"文字监督能迁移到视觉理解"这个发现继续往前推,还有哪些原本以为必须依赖多模态数据才能训练的能力,其实靠纯文字就能解决?这个问题的答案,或许会重新定义我们对训练数据成本和效率的理解。
Q&A
Q1:SABER是什么?
A:SABER是OriginAI等机构提出的一个专门测试AI模型"属性-对象绑定"能力的基准数据集,通过固定物体和属性、只打乱配对关系的方式,检验模型能否正确区分哪个属性属于哪个物体,覆盖图像和文字之间全部四种查询配对方式。
Q2:为什么现在的AI图文检索模型经常分不清属性该配给哪个物体?
A:因为主流模型把一整幅场景压缩成一个固定长度的向量,这个向量既要记住场景里有哪些物体和属性,又要记住它们的配对关系,容量不够用时模型就容易退化成只认关键词、不认搭配关系的"词袋"模式。
Q3:只用文字训练AI模型,真的能提升它理解图片的能力吗?
A:论文证明确实可以。因为多模态大语言模型的参数在不同模态间是共享的,研究团队只用20万条合成文字数据微调模型后,图文检索和图像检索的准确率都大幅提升,文字查图像场景提升了34.1个百分点,说明文字学到的配对能力能迁移到视觉理解上。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。