
这项由Neurocreaciones研究机构开展的研究发表于2026年6月,论文以预印本形式公开,编号为arXiv:2606.22207,有兴趣深入了解的读者可通过该编号查询完整论文。
人类孩子学一个新词有多快?大概就是妈妈指着一只狗说"这是狗",孩子就记住了。下次见到狗,不管是黑色的、白色的、大的、小的,孩子都能叫出"狗"。这件事听起来平常,背后却藏着语言与感知世界如何绑定在一起的深刻秘密。现在的人工智能系统能做到吗?不是背字典,不是查数据库,而是真正从几个视觉例子里"学会"一个词,然后双向使用它——看到图片能叫出名字,听到名字能找到图片?
这正是这项研究试图探索的问题。研究团队把这套实验框架命名为"词汇共识"(Lexical Consensus),并用一套精心设计的实验,像在实验室里重现一个微型语言学习现场一样,测试AI智能体究竟能学会什么、学不会什么,以及为什么。
一、为什么要用"咕噜米克"这样的无意义词?
故事的起点是一个小小的设计选择,但这个选择揭示了整个研究的核心逻辑。研究团队没有教AI学习"猫"或"狗"这样已有意义的词,而是使用了路易斯·卡罗尔(就是写《爱丽丝梦游仙境》的那位作家)在作品中发明的一批无意义词汇,比如"slithy"、"mimsy"、"vorpal"。这些词在英语里没有任何已知含义,读起来像真词,但不指代任何实际事物。
为什么要费这个周折?原因很简单:如果你教AI学习"猫",它很可能早就在训练数据里见过"猫"这个词和无数猫图,你根本无法判断它是"学会了"还是"早就记得了"。用无意义词就像在一张白纸上作画,强迫意义只能从视觉体验和实际配对中产生,而不是从任何已有的语言知识里偷跑进来。这些奇怪词汇就像是一把纯净的钥匙,研究者用它来打开"真正的学习"这扇门,排除掉所有语言记忆的干扰。
AI智能体能看到的是图片——来自CIFAR-10数据集的图像,包含飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车十个类别,每类有数千张图。每张图片先经过一个叫做DINOv2的视觉编码器处理,变成一串数字(一个384维的向量),就像把每张图片的视觉内容压缩成一个独特的"感知指纹"。这个编码器是提前训练好的,在整个实验过程中完全冻结,不做任何修改。
这个"冻结的感知基底"是整个实验设计的核心支柱。研究者不是要让AI从零建立视觉感知,而是给它一个现成的、已经有内在结构的视觉世界,然后测试:在这个结构上,词汇的学习是如何发生的?哪些词好学,哪些词难学?这和人类孩子也是一个道理——孩子学词时感知世界也早就有了基本结构,他们不是同时学习"看见"和"命名"的。
二、实验室里的微型语言课堂是怎么运作的?
实验的基本流程可以这样理解:每次给AI智能体看几张图,告诉它这些图对应一个词(比如"slithy"),然后测试它能不能把这个词用在没见过的新图上。整个过程分成两个方向——正向是"给图命名",反向是"给词找图",研究者分别叫它们C1和C2。
C1测试就像课堂点名:拿出一张新图,让AI说出它对应的是哪个词。C2测试则反过来:给AI一个词,让它从一堆候选图里挑出正确的那张。两个方向合在一起,才算是真正的"双向词汇掌握",就像你说得出"苹果",也能在水果摊上挑出苹果,两者缺一不可。
参与学习的AI智能体有好几种。最基础的是"质心学习器"——它把所有与某个词关联的图片在视觉空间里求平均,得到一个代表性的"中心点",之后判断新图属于哪个词,就看哪个中心点离这张图最近。这就像把所有"马"的图片叠起来取平均,得到一匹"平均马",然后拿新图和这匹平均马比较。除此之外还有"多质心学习器"(可以为一个词保留多个中心点)、"样本k近邻学习器"(直接记住所有看过的样本,遇到新图就找最像的几个),以及逻辑回归和线性支持向量机这两种更传统的机器学习基准方法,还有纯随机猜测作为底线参照。所有方法都用同样的视觉编码,唯一不同的是它们处理词汇映射的方式。
三、最核心的发现:词汇学习不是全能的,它受"感知地图"形状的约束
研究最核心、也最有趣的发现,来自一组叫做"概念雕刻"的实验。研究者设计了四种不同类型的学习任务,就像在给AI出四种难度逐渐递增的谜题。
第一种叫"本土概念"——一个词对应一个原生类别,比如"slithy"就是马。这是最自然的情形,等于给一个已有聚类的区域贴个新标签。第二种叫"近距离合并概念"——一个词覆盖两个在视觉上相近的类别,比如把卡车和汽车都叫"mimsy",因为这两类在视觉感知空间里本来就离得很近,像是同一个大类的两个分支。第三种叫"中距离拼接概念"——把两个距离不那么近的类别合并成一个词。第四种叫"远距离拼接概念"——把两个在视觉空间里距离很远的类别硬塞进同一个词里,比如把青蛙和飞机都叫"vorpal"。
实验结果形成了一条非常清晰的下坡曲线:本土概念的命名准确率约为94%,近距离合并概念约为85%,中距离拼接概念约为65%,远距离拼接概念约为53%——已经接近三选一的随机猜测水平(约33%)。这条曲线在所有学习器上都一致出现,无论是质心学习器、样本学习器还是逻辑回归,都走出了同样的下坡形状。
这个发现的深层含义是:AI智能体学习词汇的能力,不是由词汇本身的复杂程度决定的,而是由这个词所对应的"概念"在视觉感知地图上是否连贯决定的。当一个词覆盖的是感知空间里一块连续、密集的区域时,学习很容易。当一个词覆盖的是感知空间里两块相距遥远的区域时,学习就接近失败。这和人类早期词汇习得有一个结构上的相似——孩子往往先学会宽泛但连贯的类别词,比如先说"狗"来指各种狗,然后再细分出"柯基"、"哈士奇",而不是先学会一个词同时指"蚂蚱"和"宇宙飞船"。
四、是视觉距离决定学习难度,还是"语义亲戚关系"?
这里有一个很重要的质疑需要正面回答:研究者用视觉距离来定义概念的难度,然后又用视觉距离来测试学习效果,这两件事用的是同一把尺子,会不会这条下坡曲线只不过是个自我验证的循环,根本没有揭示任何真正的规律?
为了排除这个可能,研究团队专门设计了一个预先登记决策规则的对照实验——也就是说,在收集任何实验数据之前,研究者就把判断标准写死了,不允许事后根据结果调整解释。这个实验在更大的数据集CIFAR-100上进行(100个精细类别),并引入了一个完全独立的距离度量:基于WordNet词典的语义距离,也就是两个类别在人类知识体系里的"亲戚关系远近",比如"玫瑰"和"郁金香"在语义上是近亲,但和"锤子"在语义上是远亲。
研究者把所有类别对分成四个象限:两者在视觉上和语义上都相近的(Q1),两者在视觉上和语义上都较远的(Q2),视觉上远但语义上近的(Q3),以及视觉上近但语义上远的(Q4)。如果词汇学习难度真的是由视觉距离驱动的,那么Q1和Q4(视觉上都近)应该表现相似,Q2和Q3(视觉上都远)应该表现相似。
结果完全符合这个预测。Q1和Q4的C1准确率非常接近,分别约为88%和88%;Q2和Q3的准确率也非常接近,分别约为82%和82%。回归分析更进一步量化了这个结论:视觉距离对学习准确率的解释力(偏R?=0.245,p<10??)远超语义距离(偏R?=0.002,p=0.660,统计上不显著)。换句话说,两个类别在视觉上有多像,几乎完全决定了它们组成的概念有多好学;而它们在知识体系里是不是"语义亲戚",对学习难度没有任何额外影响。
这个结论非常干净:在这个框架里,驱动早期词汇习得的是感知连贯性,而不是知识体系里的语义亲缘关系。
五、正向命名和反向找图,是两件完全不同的事
研究还揭示了一个容易被忽视的区别:会给图片贴标签,和会用标签找图片,这是两种不同的能力,背后依赖的机制也不一样。
在C1(给图命名)的测试中,所有学习器表现相近,质心学习器和样本学习器的差距不大,因为命名任务主要考察"这张图和哪个词的范围最接近",靠一个大概的中心方向就够了。但在C2(用词找图)的测试中,样本学习器明显强于质心学习器,尤其是对于近距离合并概念(两类视觉上相近但仍有差异)。差距约为7.4个百分点,在统计上非常显著。
这个差距的来源可以这样理解:质心学习器把一个词压缩成一个"平均脸",这个平均脸在命名时足够用,但当词汇覆盖的概念本身有两个不同的"长相"时(比如卡车和轿车合并成一个词,它们各有各的样子),一张平均脸就会丢失信息。样本学习器记住了所有原始样本,所以能更准确地找回"这个词曾经覆盖过的各种图",表现出更高的记忆保真度。
这意味着,如果你只测试C1,你可能高估了AI的词汇能力。命名准确不等于能用词找图,后者揭示的是词汇记忆的另一个维度——能不能在脑子里重建出这个词所指向的世界样子。
六、有没有可能这些发现只是巧合?六重防伪测试
研究者对自己的结果保持了严格的怀疑态度,设计了一系列"防伪控制实验"来验证发现的真实性,就像在出售珠宝之前先过金属探测仪一样。
第一重测试是随机标签控制:把词汇和图片的对应关系打乱,随机分配标签。结果准确率只有55%(C1)和43%(C2),而且在100次随机重复中没有一次超过55%。这说明正常实验里的高准确率不是偶然产生的。
第二重测试是随机嵌入控制:把真实的视觉编码换成随机数字向量。C1准确率立刻跌到30%,C2跌到25%,接近纯随机猜测。这证明了"感知基底"是学习的必要条件,没有真实的视觉结构,词汇就无从附着。
第三重测试是排列绑定控制:保留真实的视觉编码,但把图片和编码的对应关系打乱。结果C1和C2准确率都变成0%,甚至低于随机水平。这不是意外,而是因为固定的排列方式导致标签被系统性地循环错配,形成一种结构性的错误。这证明了图片、视觉编码和词汇三者之间正确的"绑定关系"是学习成立的前提。
第四重测试是词汇外样本拒绝测试:给AI看它从未学过类别的图片(比如它只学了马和船,现在给它看飞机),检验它会不会拒绝乱猜。结果系统的AUROC(判别能力指标)达到0.9642,说明AI能相当准确地识别"这张图不在我学过的范围内",不会硬把未知图片塞进已知词汇。
第五重测试是更难类别的测试:把测试类别换成视觉上更相似、更难区分的类别,验证学习是否只对简单情况有效。结果在更难的类别上,C1准确率为95%,C2准确率为87%,学习能力仍然保持。
第六重测试是候选池构成的变化测试:在C2检索任务里,改变候选图片池的大小(5张到25张)和难度(加入视觉上极相似的干扰图,或加入完全陌生的类外图片)。结果在所有候选池构成下,样本学习器的优势都持续存在,说明这个结论不依赖于特定的测试条件。
七、多个AI智能体能就一套词汇达成共识吗?
除了单个AI学词,研究还测试了一个更有趣的问题:如果多个AI智能体各自从不同的样本开始学习同一套词汇,它们能不能自发地达成一致——也就是,对同一张图,大家最终都叫出同一个词?
实验设置是让多个智能体从不同的初始样本出发学习同一批词,然后通过一个"共识机制"互相参考彼此的判断,逐轮迭代,看能不能收敛到共同的词汇用法。同时还有一个"无反馈基线"——多个智能体各自独立判断,完全不互相参考。
结果有些出乎意料:无反馈基线的表现已经非常强。在没有任何互动的情况下,多个智能体对同一批图片的标签一致率就达到了93%,保留样本的共识准确率达到98%。加入反馈后,一致率提升到98%,6轮就收敛了,准确率达到100%。
这说明什么?当所有智能体共享同一个视觉编码器时,它们对视觉世界的"感知地图"本来就几乎一样。两个使用同一张地图的人,即便各自出发,最终也会找到相似的路。共识机制有用,但它的作用更像是一个细化工具,而不是从零开始建立共识的引擎。
更关键的是,研究者进一步测试了共识过程是否改变了智能体内部的表示结构——也就是说,反复达成共识之后,各个智能体对词汇的"内心理解"(通过质心向量来度量)有没有变得更加相似?答案是:几乎没有。平均对齐增益只有0.0016,非常微小。这说明词汇共识只是协调了表面的标签决策,并没有深层次地重塑感知表示。就像两个人用同一套词描述颜色,但他们眼睛里看到的颜色可能仍然有细微差异——词汇共识和感知重组是两件不同的事。
八、这一切说明了什么,边界在哪里?
说到底,这项研究做了一件很有价值的事:它把"AI能不能学词"这个模糊的问题变成了一个可测量、可证伪、有边界的实验命题。
在这个框架里,AI智能体确实能学词,而且能双向使用词汇。但这种学习不是万能的,它被感知空间的结构深深约束。当词汇对应的是感知空间里一个连贯的区域时,学习成功。当词汇试图覆盖感知空间里两块遥远的孤岛时,学习趋向失败。这不是AI的缺陷,而是一种和早期人类词汇习得结构相似的规律:名字先附着于连贯的感知区域,才有可能稳定地生长。
这项研究也清楚地划出了它的边界。它测试的是词汇习得,不是语言习得的全貌——没有语法、没有对话、没有身体交互、没有持续的概念发展。它用的是冻结的视觉编码器,所以词汇学习不能反过来改变感知。它在受控的实验环境里工作,离真实的开放世界语言学习还有很长的路。
这正是研究者想说的:这不是终点,是起点。如果未来的AI系统要被按照"能不能真正习得语言"来评估,而不只是"能不能模仿语言输出",那么类似这样的实验框架就是迈出这一步必须走的路。现在我们知道了冻结感知能让词汇习得走多远,也知道了它在哪里停下来——下一步,就是让感知本身也能随着词汇学习而发生变化。
归根结底,这项研究的最大贡献不是某一个具体的准确率数字,而是提供了一套可重复、可证伪、有梯度的实验工具,让"AI学词"这件事从一个哲学话题变成了一个科学问题。对AI评估感兴趣的研究者,可以通过arXiv编号2606.22207找到完整的实验细节和代码信息。
Q&A
Q1:词汇共识框架(Lexical Consensus)是什么?
A:词汇共识是一个测试AI智能体能否从少量视觉样本中"学会"一个新词的实验框架。AI被展示几张图片和一个无意义词的配对,然后测试它能否把这个词用于没见过的新图(正向命名),以及能否用这个词从候选图中找出正确的图(反向检索)。框架还测试了多个AI智能体是否能在没有集中控制的情况下,对同一套词汇达成一致的使用标准。
Q2:感知连贯性梯度实验的结论是什么意思?
A:研究发现,AI学词的难易程度取决于这个词在视觉空间里覆盖的区域是否连贯。如果一个词对应视觉上相近的事物(比如卡车和汽车),学习成功率约85%。但如果一个词硬把视觉上相距遥远的事物合并在一起(比如青蛙和飞机),成功率会跌到接近随机猜测的53%。这说明AI的词汇学习不是任意的集合记忆,而是受视觉感知结构约束的。
Q3:多智能体达成词汇共识说明了什么?
A:即使多个AI智能体从不同的初始样本出发,当它们共享同一个视觉编码器时,对同一批图片打出的词汇标签一致率在没有任何互动的情况下就已经高达93%。这说明共同的视觉感知结构是词汇共识的主要驱动力,而不是智能体之间的沟通协调。加入反馈机制可以进一步提升一致性,但效果更像是精修,而不是创造共识。
好文章,需要你的鼓励
这项研究系统比较了四种AI图像分词策略在640000张星系图像上的表现,发现重建质量与物理属性预测能力之间存在根本性解耦,为天文基础模型的分词器选择提供了实验依据。
阿里Qwen团队研究如何将大模型的规模化训练思路迁移到机器人操作领域,通过统一多机器人表示与38100小时数据预训练,让机器人在陌生场景和陌生机型上也能完成复杂操作任务。
MemoBench是哈佛大学等机构联合推出的视频生成评测基准,专测AI在物体消失再重现场景下的记忆能力,揭示了当前所有主流模型的核心盲区。
研究发现AI代码修复工具默认的"写代码→跑测试→再改"流程中,禁止运行测试几乎不影响修复成功率,却能节省超过一半的时间和费用。