摩德纳大学团队揭秘：AI的"眼睛"和"大脑"为什么总是鸡同鸭讲，他们是怎么修好的？

这项由意大利摩德纳-雷焦艾米利亚大学联合比萨大学及AMD Silo AI研究机构共同完成的研究，于2026年6月以预印本形式发布，论文编号为arXiv:2606.23885。感兴趣的读者可以通过该编号在arXiv平台上查阅完整论文。

一、AI的"视觉短路"：它看见了，却没真正理解

你有没有遇到过这样的尴尬：把一张照片发给身边的朋友，对方不戴眼镜就评论，说的全是自己的想象，而不是图片里真正发生的事？这恰恰是今天许多顶级AI系统的真实处境。

现代的多模态大型语言模型（Multimodal Large Language Models，简称MLLMs）是一种能同时"看图"又"说话"的AI。这种系统通常由两个部分协作完成任务：一个专门负责"看图"的视觉编码器，以及一个负责"思考和说话"的语言大模型。它们的分工乍看合理，却在实际中暴露出严重裂痕——AI经常对着图片说些"想当然"的话，把路边的停车场当成停车费用的新闻，把实际上只有一辆巴士的场景说成是两辆，或者压根分不清物体的空间位置关系。

这类问题统称为"视觉幻觉"，也就是AI说出了它"脑补"出来而非真正看见的内容。这背后的根源，是语言模型太习惯于依赖文字经验了——它在海量文字数据上被训练得极为强大，以至于即使视觉信息不支持，它也会倾向于按照"语言逻辑"给出听起来合理的答案。

摩德纳-雷焦艾米利亚大学的研究团队意识到，要解决这个问题，不能只是简单地"给AI多喂点图片"，而是需要真正打通视觉和语言在AI大脑内部的连接方式。他们提出了一种名为"头部智慧表征对齐"（Head-Wise Representation Alignment，简称HeRA）的全新方法，其核心思路令人意外：不是让AI的整个"大脑"都向视觉学习，而是精准找出那些最不擅长理解视觉的"神经节点"，专门对它们动手术。

二、AI大脑的"格局"：语言模型内部藏着什么秘密

要理解HeRA在做什么，先要了解语言大模型的内部构造。语言模型的大脑不是铁板一块，而更像一栋多层写字楼，每一层都有许多独立的小办公室，每个办公室负责处理不同类型的信息——有的专门关注句子的语法结构，有的擅长捕捉词语之间的逻辑关系，有的负责归纳上下文。这些小办公室在AI界被称为"注意力头"（Attention Head）。

长期以来，研究者在尝试让语言大模型"视觉化"的时候，通常采用一种粗放的做法：找到写字楼的某一整层——比如正中间那一层或最上层——然后强制要求这一整层的所有办公室都向外界的"视觉老师"学习，把自己的工作方式调整得更像视觉处理器。这就好比公司突然宣布，不管你是做财务的还是做设计的，三楼所有人今天统一接受烹饪培训——培训结果可想而知，只会让本来各司其职的人手忙脚乱。

这种"整层对齐"的方式带来了明显的副作用：强行改变那些已经擅长语言推理的节点，往往会破坏模型原有的语言能力；而且不同的语言大模型内部结构各不相同，选哪一层作为对齐目标完全靠人工经验猜测，缺乏系统依据。

摩德纳团队决定打破这个定式，走进写字楼，逐间办公室地检查，找出那些真正需要"进修视觉课程"的注意力头。

三、拓扑对齐：AI的视觉和语言之间，藏着一张"邻居关系地图"

研究团队的思路建立在一个叫做"柏拉图式表征假设"（Platonic Representation Hypothesis，PRH）的理论基础上。这个理论听起来哲学味浓厚，其实指向一个朴素的直觉：真正聪明的表征系统，不管是用视觉还是用语言来理解世界，对相似事物的描述方式应该是相近的。

换句话说，如果给AI展示"一只金毛犬"和"一只拉布拉多犬"这两张图，一个合格的视觉系统会认为这两张图在语义空间里"很近"；同样地，如果给AI读"金毛犬的描述文字"和"拉布拉多犬的描述文字"，一个合格的语言系统也应该觉得这两段文字"很近"。但更关键的是：同一个"金毛犬"，在视觉系统里的"邻居"应当和在语言系统里的"邻居"大体一致——图片找到的近邻，跟文字找到的近邻，应该是同一批对象。

这种"邻居关系的一致性"被称为拓扑对齐，用来量化它的指标叫做"互相K近邻"（Mutual K-Nearest Neighbor，MKNN）。MKNN分数越高，说明视觉系统和语言系统对同一批样本的"邻里关系"判断越吻合。麻省理工学院的研究者此前发现，MKNN分数越高的语言模型，在下游任务中往往表现更好，说明这种拓扑一致性确实有意义。

然而，之前没有人研究过：如果在训练AI的过程中，主动强制提升这个MKNN分数，AI的视觉理解能力会不会真的提升？摩德纳团队决定用实验来验证这个因果关系。

四、"最差生"法则：反直觉的奇妙发现

在正式训练之前，研究团队做了一件很有意思的事：他们拿着MKNN这把"尺子"，对语言大模型内部几百个注意力头逐一打分，看哪些头的视觉-语言拓扑对齐分数高，哪些低。

结果非常有趣。他们发现，在同一个模型里，有少数注意力头天生就拥有极高的MKNN分数——它们对视觉和语言的"邻里关系"判断已经高度一致。更令人惊喜的是，这些顶尖头的分数远远高于模型任何一整层的平均分数。这意味着，粗放地选"某一整层"来对齐，不但遗漏了那些天才头，还拖累了那些在其他方面表现优秀的普通头。

接下来，团队面临一个选择：应该强化那些本来就擅长视觉对齐的"优等生"头，还是去补强那些最差、最不擅长视觉对齐的"后进生"头？

凭直觉来看，强化"优等生"应该更容易见效——毕竟起点高，应该事半功倍。但实验结果完全打脸了这个直觉：强化"后进生"的效果远远优于强化"优等生"。对于Qwen2.5-3B模型，选择最差的5个头进行对齐训练，比选择最好的5个头，在视觉任务上多提升了1.4分。对于Qwen3-4B模型，这个差距更大，达到2.3分。

为什么会这样？研究团队给出了一个清晰的解释：那些本来就擅长视觉对齐的头，已经在自然学习中发展出了合理的结构，强行干预它们不仅收益有限，还可能打乱已有的平衡。而那些对齐最差的头，恰恰是AI"视觉短路"的主要来源——把它们补强，相当于把整个系统的最薄弱环节修好了，而这并不会损害那些本来就好的头。实验数据印证了这一点：用HeRA训练后，那5个最差的头的MKNN分数大幅提升，而那5个最好的头的分数几乎没有变化，双方相安无事。

五、"拓扑对比学习"：HeRA的核心手术方案

确定了要手术的目标之后，摩德纳团队设计了具体的"手术方案"。他们的做法分为两个层次，就像一套精密的导航系统。

第一层，研究团队引入了一个外部的"视觉老师"——DINOv2（一种不依赖文字标注、完全通过图像自监督训练的视觉编码器）。这位老师的工作就是提供一张"视觉邻里地图"：对于每一批训练图像，它都会标出哪些图像在视觉语义上互为近邻。

第二层，研究团队设计了一个"对比学习"目标（基于InfoNCE损失函数的多目标变体）。简单来说，这个目标要求：当语言大模型处理某张图片对应的文字时，它在那5个"后进生"注意力头上产生的表征，应该靠近那些在视觉老师眼中属于同一"邻居圈"的样本，远离其他不相关样本。这就好比告诉那些原本"近视"的办公室：你们在处理"狗"这个概念的文字时，产生的内部表示应该和处理"猫"的距离远一些，和处理"犬科动物"的距离近一些——而这个远近标准，是由视觉老师的判断来提供的。

重要的是，这个方案并不要求语言头和视觉编码器的表征在数值上精确匹配——那种"像素级对齐"的方式往往和语言建模目标相冲突。HeRA只要求两者的"邻里关系"一致，也就是拓扑结构对齐，而不是强迫双方的特征向量变得相似。这种宽松的对齐要求，让视觉监督信号能够自然融入语言建模训练，不会造成两者之间的"内耗"。

技术实现上，研究团队充分利用了Transformer模型注意力层的线性分解性质：每个多头注意力层的输出等于各注意力头输出的加权求和，因此可以把每个头的贡献单独拆分出来，独立施加对比学习损失，而不影响其他头的正常工作。HeRA的最终训练目标，就是标准的语言建模损失加上对选定注意力头的拓扑对齐损失，两者通过一个超参数λ（设为0.01）平衡权重。

六、实验考场：18个基准测试的全面检验

摩德纳团队的测试规模相当庞大，覆盖了9个不同的语言大模型（包括Vicuna、LLaMA3、Qwen2.5、Qwen3家族），参数规模从30亿到140亿不等，评测在18个标准基准测试上展开，涵盖通用视觉问答、知识推理、文字识别（OCR）以及最难的视觉核心任务（如空间关系判断、目标定位、MMVP等）。

在所有被测试的模型上，HeRA都带来了视觉任务的提升，平均涨幅从0.7分到3.6分不等，且在最难的视觉核心任务上提升最为显著。以Qwen3-8B为例，加入HeRA后，视觉任务平均分从55.9跳升至59.5，涨了3.6分，是所有模型中最大的单项提升。Qwen2.5-14B的知识类任务也从50.7升至52.8，通用任务从75.6升至77.4。

更难得的是，在提升视觉能力的同时，HeRA并没有损害模型的语言和推理能力。通用问答、知识问答、OCR等类别的分数，在绝大多数模型上要么保持不变，要么有所提升。这说明那种"精准手术"的思路确实有效——只改动最需要改动的部分，其余一概不碰。

在与同类方法的直接对比中，HeRA也占据明显优势。同样在Qwen3-8B上评测，ROSS方法只带来了0.3分的视觉提升，VIRAL方法甚至让视觉表现下降了1.7分，JARVIS带来了2.8分的提升，CMAR带来了1分的提升，而HeRA的提升是3.6分，位列第一。VIRAL的下降印证了"强制精确特征匹配"的危险性——当视觉监督目标和语言建模目标激烈冲突时，模型会两头受损。

幻觉抑制方面，HeRA的效果同样正面。在CHAIR-MSCOCO测试集上，大多数经HeRA训练的模型降低了句子级和词级幻觉率。在AMBER测试集中，HeRA不仅减少了幻觉，还同时保持了"认知覆盖"分数——这个分数衡量的是模型能不能像人一样合理地理解图片内容，如果模型为了避免幻觉而变得极度保守（什么都说"不确定"），这个分数会下降。HeRA的表现说明，它减少的是真正的幻觉，而不是通过保守回避来掩盖问题。在HallusionBench这个专门测试AI是否会被视觉误导的测试集上，绝大多数HeRA训练的模型也都记录了正面的提升。

七、更换"视觉老师"：谁来教视觉，同样关键

研究团队还专门测试了换用不同视觉老师的效果。实验发现，使用SigLIP2（一种通过图文配对数据训练的视觉编码器）作为老师几乎没有效果，这印证了一个重要规律：靠文字监督训练出来的视觉编码器，不适合作为拓扑对齐的老师，因为它的表征空间本身就和语言空间有深度耦合，提供不了额外的视觉信息。

反而是DINOv2这类完全不依赖文字标注、靠图像自监督学习的视觉老师效果最好，即使只用参数量较小的DINOv2-B也能带来稳定提升。有趣的是，使用参数量超大的DINOv2-g（十亿级参数）并没有带来更好的效果，表明在拓扑对齐这个任务上，老师的"视觉纯度"比"体量"更重要。

研究团队还探索了对HeRA施加在两个训练阶段（阶段一：仅训练连接器；阶段二：联合微调语言模型和连接器）上的效果。结果表明，两个阶段都施加HeRA损失时效果最好，无论是在Qwen2.5-3B还是Qwen3-4B上都如此，尽管不同模型在单独只用某一阶段时的表现略有差异。

此外，研究团队还发现了一个实用结论：HeRA不增加训练时间，MKNN对齐分数的预计算可以完全离线完成，在单卡GPU上，对一个70亿参数的模型完成所有头的评分不到一小时。这意味着HeRA是一个几乎"零成本"加入现有训练流程的改进方案。

八、局限与未来：还有什么没解决

研究团队坦诚地指出了HeRA目前的局限性。所有主要实验都在LLaVA训练框架下进行，这是一个相对基础的多模态训练方案，计算资源要求可控。更复杂、更前沿的训练方案（如InternVL、Qwen3-VL等）还没有被全面探索。

不过，为了展示HeRA在更现代架构上的潜力，研究团队做了一个初步实验：将HeRA应用于Qwen3-VL-4B（一个原生多模态模型），在83k样本上进行微调。结果令人鼓舞——相比单纯的标准微调，HeRA在视觉核心任务上的提升幅度明显更大，而且标准微调会导致通用类任务下降，HeRA则不会。这意味着HeRA的核心思路有望迁移到更复杂的系统上。

HeRA在视觉精细任务上仍有失误，比如准确数清大量相似小目标、识别模糊的材质与形状、以及判断杂乱场景中的精确空间关系。这些依然是多模态AI领域的公认难题，HeRA没有声称完全解决它们。

归根结底，HeRA的价值在于证明了一件事：不是只有堆数据、扩规模才能改善AI的视觉能力，通过精准理解AI内部结构、选择性地强化最薄弱的环节，同样可以带来实质性的提升。而且这种"手术"非常温和，不会破坏AI已有的语言和推理能力。从这个角度看，HeRA更像是一种帮助AI大脑自我完善的方法论，而不仅仅是某个具体的技巧。

Q&A

Q1：HeRA方法为什么要选"最差"的注意力头而不是"最好"的？

A：HeRA的实验发现，那些在视觉-语言对齐上本来就很弱的注意力头，才是AI视觉理解能力的瓶颈所在。强化最差的头能大幅补强系统的薄弱环节，而且不会影响其他表现好的头。反过来，强化本来就好的头，效果非常有限，还可能打乱已有的平衡结构。

Q2：HeRA需要重新训练整个语言大模型吗，代价很大吗？

A：不需要从头训练。HeRA是在原有的多模态训练流程里加入一个额外的拓扑对齐损失，训练时间几乎没有增加。而且，选定哪些注意力头需要对齐，这一步可以提前在训练开始前完成，对一个70亿参数的模型只需在单张GPU上跑不到一小时。

Q3：MKNN拓扑对齐和普通的特征匹配有什么区别？

A：普通特征匹配（如VIRAL）要求AI的内部表征在数值上接近视觉编码器的输出，这往往和语言建模目标激烈冲突，导致两头受损。MKNN拓扑对齐只要求两者对相同样本的"邻里关系"判断一致，并不要求特征向量本身相似，因此对语言能力的干扰要小得多，也更容易和语言建模目标共存。