你有没有遇到过这种事:公司想把两个团队合并到一起做项目,领导拍脑袋决定了名单,结果磨合了三个月才发现这两个团队的工作方式根本不兼容,白白浪费了一个季度。AI领域现在天天在干这种事。
把一个视觉模型和一个语言模型拼在一起,让它们看图说话。或者把两个在不同任务上训练好的模型的参数直接平均一下,指望得到一个两种能力都会的新模型。这两件事现在非常流行,但有个致命问题:你永远不知道两个模型配不配,直到你把钱和时间都花出去,训练完了才知道结果好不好。
这就像相亲。你不可能跟十个人都谈三个月恋爱才知道谁最合适,但现实中很多实验室和公司,确实是把二十个候选模型两两组合,跑完所有组合才敢说哪个最好。EPFL和巴塞尔大学的几位研究者看不下去了,他们想做一件事:在真正"结婚"之前,先算一下两个模型合不合得来。
**核心问题:合不合适,看完了才知道,这事能不能提前算出来**
先说清楚问题到底难在哪。
拿最常见的场景举例:你想做一个像GPT-4V那样能看图说话的模型,你手里有十九个不同的视觉模型(有的用CLIP训练出来的,有的用纯粹的图像分类训练出来的,还有用"把图片打碎了再拼回去"这种自监督方式训练的),还有十个语言模型。这就是19乘10,一百九十种组合。
> 对齐(Alignment):指让两个独立训练的模型的内部表示能够"对上话",比如让视觉模型看到一张狗的图片产生的内部数字向量,能够跟语言模型理解"狗"这个词产生的向量匹配起来。
传统做法是什么样的?你得真金白银地训练一个适配器,把视觉模型和语言模型接起来,然后在检索任务上测试效果好不好。一百九十种组合,每种都要跑一遍完整的训练加测试流程。这篇论文的作者统计过,如果每种组合都要走完整流程,总共得跑八十六到一百零二个小时,占用七百二十九GB的硬盘空间存中间结果。
而他们提出的方法,只需要对每个模型各跑一次,一共二十九次前向传播,二十一分钟搞定,只占十二GB空间。
这个数字对比不是开玩笑的,相差了两百多倍的时间成本。
如果你是一个实验室,手里有二十个候选模型要两两配对实验,你会怎么选?按传统做法,你得硬着头皮把一百九十种组合全跑一遍,或者凭直觉挑几个"感觉应该不错"的组合先试试,赌一把。后者的风险是,你的直觉很可能是错的,因为模型内部到底学到了什么,人类直觉往往猜不准。
模型合并(Model Merging)这件事也面临类似的困境。把两个在不同任务上微调过的模型的权重直接平均,期待得到一个"全能选手",这个操作叫"任务算术"(Task Arithmetic)。但现实是,很多时候平均完了,两种能力都丢了一部分,甚至比单独一个模型还差。
这个领域里,此前有两个针锋相对的理论假设。一个叫"柏拉图式表征假设"(Platonic Representation Hypothesis),2024年由Huh等人提出,说的是只要模型足够大足够强,它们最终都会收敛到某种共同的、全局一致的表示方式上,就像所有人最终都会认识到"圆"这个抽象概念一样。
另一个叫"亚里士多德式表征假设"(Aristotelian Representation Hypothesis),是同一批作者里的Groger在后续工作里提出的反驳,他发现模型之间的一致性其实是局部的,不是全局的。两个用完全不同方法训练出来的模型,在全局几何结构上可能长得完全不一样,但是它们对"谁跟谁更像"这件事,居然有惊人的共识。
这个发现是这篇论文的关键钥匙。
**核心方法:COMPASS,用"谁的邻居像谁"来预判兼容性**
既然局部一致性是真实存在的,那能不能用它来提前判断两个模型合不合适?
这篇论文给出的答案是COMPASS(兼容性评估分数)。它的核心思路特别朴素:拿一小批样本出来当探针,看两个模型分别认为"谁的邻居是谁"。
> k近邻重叠(k-NN overlap):对于探针集里的每一个样本,分别用两个模型找出它最接近的k个"邻居"样本,然后看这两组邻居列表重叠了多少。重叠度高,说明两个模型对"什么东西跟什么东西相似"这件事看法一致。
想象一下,你和你的朋友去参加一个两百人的聚会,你们俩分别凭直觉给每个人找"性格最像的五个人"。如果你俩找出来的名单重叠度很高,说明你俩对"人的性格相似性"的判断标准是接近的,就算你们俩对"这个聚会整体氛围怎样"的宏观感受完全不同。这正是局部一致性和全局一致性的区别,模型之间也是这样,整体几何形状可能天差地别,但局部的"谁像谁"判断却惊人一致。
论文把兼容性拆成了两个可以提前算出来的轴。
第一个轴叫"容易度"(Ease),它回答的问题是:这两个具体的模型,在还没开始任何训练之前,局部判断一致到什么程度?如果两个模型天生就看法一致,那后续训练只需要轻轻一推,它们就能完全对齐。如果天生看法分歧很大,那就需要海量的训练才能拉近距离,甚至拉不近。
> Ease(容易度):衡量这对具体的模型组合在训练开始前就已经多大程度上"心有灵犀",是针对特定模型对的分数。
第二个轴叫"天花板"(Ceiling),回答的是另一个问题:就算你无限地训练下去,这两种训练范式(比如对比学习和图像重建)能达到的一致性上限是多少?
> Ceiling(天花板):衡量两种训练范式本身能支持的最大一致性水平,不针对具体模型对,而是针对背后的训练方法家族,比如"对比学习类"能和"自回归语言模型类"配合到什么程度。
天花板这个概念特别重要,因为它揭示了一个容易被忽略的真相:有些不兼容不是因为训练不够,而是因为两种方法从根本上在追求不同的东西。
拿CLIP和图像重建模型MAE来做对比。CLIP是用对比学习训练的,它的目标从一开始就是"让图片和对应的文字描述靠得更近",这跟跨模态对齐任务的目标几乎是同一件事。而MAE的训练方式是把图片打碎挖洞,然后让模型学会把挖掉的部分补回来,这跟"图文对齐"压根不是一个赛道。
论文里算出来的数字很直观:CLIP这类对比式视觉语言模型的天花板是0.140,而MAE只有0.058,差了两倍多。这意味着无论你怎么训练适配器,MAE能达到的跨模态对齐上限,天生就比CLIP低很多。
这就像让一个学了十年古典芭蕾的舞者和一个学了十年街舞的舞者去跳同一支现代舞。两人都可能很努力,但如果现代舞的风格本质上更接近街舞的发力方式,那古典芭蕾舞者无论练多久,能达到的契合上限天生就比街舞舞者低。不是谁不努力,是两种训练体系本身瞄准的方向不一样。
**理论支撑:为什么局部重叠能预测未来**
光有经验观察还不够,这篇论文很硬气地给出了数学证明,解释为什么"开局时的局部重叠"能预测"训练完之后的表现"。
论文提出了两个定理。第一个定理叫"每样本起始条件重叠控制有限时间收敛",说的是:如果两个模型一开始的局部判断差异小,那么在有限的训练步数内,两者达到彼此接近、且至少一个达到目标状态的概率,会随着起始重叠度升高而提高。
这个定理用了一个叫"总变差距离"的数学工具来衡量两个概率分布之间的差距,证明过程涉及马尔可夫不等式和条件概率的拆分,但核心直觉很简单:起点越近,终点越容易靠近。
第二个定理叫"目标差异限制了可达重叠上限",这是给"天花板"概念提供数学依据的。简单说就是,即便你无限训练下去,让两个模型各自的KL散度(衡量模型输出和理想目标之间差距的一个指标)都趋近于零,两个模型之间能达到的最大重叠度,仍然被它们各自训练目标之间的本质差异卡住了上限。
> KL散度(KL divergence):一种衡量两个概率分布有多"不一样"的数学工具,数值越小表示两个分布越接近。
这两个定理合起来讲的是一个完整的故事:起点决定了你能跑多快,而终点的天花板决定了你跑多远也到不了的地方在哪里。
这好比考研。你的"容易度"相当于你本科的基础扎不扎实,基础好,复习起来事半功倍。但"天花板"相当于你报考的专业和你本科专业的匹配度,如果你本科学的是会计,却想考哲学系研究生,无论你多努力刷题,能考到的分数终究有一个天然上限,因为知识体系根本不是同一套。基础再好也绕不开专业鸿沟。
**实验验证:在跨模态对齐和模型合并上双双验证**
理论讲完了,接下来要看实战效果。
论文在两大场景下做了验证。第一个场景是跨模态对齐,他们测了十九个视觉模型和十个语言模型,凑出七十二组配对,用一种叫CSA的闭式适配器方法(不需要迭代训练,靠矩阵运算直接求解)完成对齐,然后在Flickr30k和COCO两个经典的图文检索数据集上测试效果。
结果是什么样的?
**COMPASS预测的分数和真实检索效果之间的皮尔逊相关系数,在Flickr30k上达到了0.90,在COCO上达到了0.91。**
作为对比,业界常用的全局相似度指标CKA(一种比较两个神经网络表示空间整体几何结构的方法),在同样数据上只有0.63和0.68的相关性。
> CKA(Centered Kernel Alignment,中心化核对齐):一种比较两个模型表示空间整体几何结构相似程度的经典指标,衡量的是全局结构,而不是局部邻居关系。
这个对比直接验证了"局部比全局更靠谱"这个判断。CKA看的是模型表示空间的整体形状,COMPASS看的是局部的"谁跟谁是邻居"关系,后者在这个场景下明显更有用。
第二个场景是模型合并,他们用十四个不同训练范式的ViT视觉骨干网络,在八个标准图像分类任务(MNIST、SVHN、GTSRB等)上各自微调,凑出三百九十二组任务对的合并实验。
**COMPASS在这个场景下的相关系数是0.70,而全局CKA只有0.25。**
这个差距更夸张,CKA几乎失效了,但COMPASS依然保持着不错的预测能力。
论文还做了一个很实用的排序测试:如果你只有预算跑五次合并实验,COMPASS能不能帮你在这五次里就找到三百九十二个候选里最好的那个?答案是真的可以,实验显示COMPASS在前五个候选里就命中了全局最优解。
**四象限诊断:不是所有"不兼容"都是一回事**
光知道"这两个模型合不合适"这个分数还不够用,论文进一步把容易度和天花板这两个轴组合成了一张诊断图,划分出四个区域。
把容易度和天花板各自按中位数切一刀,得到四个象限。第一个叫"立即行动"(高容易度、高天花板),这种组合不仅起点近,而且理论上限也高,直接拿去用准没错。
第二个叫"预算受限"(低容易度、高天花板),这种组合理论上能达到很好的效果,但起点比较远,意味着得多投入训练数据、更长的训练时间,或者换个更强的适配器结构,才能挖出潜力。
第三个叫"天花板受限"(高容易度、低天花板),这种组合起点很近,看起来很有希望,但天花板低,说明无论怎么努力训练,能达到的最终效果有限,这时候该考虑的不是加大训练投入,而是换一种训练范式。
第四个叫"不兼容"(低容易度、低天花板),这种组合建议直接放弃,别浪费时间。
这个四象限诊断特别有意思的地方在于,它区分了"预算受限"和"天花板受限"这两种看起来结果差不多,但该采取的行动完全不同的情况。论文的数据显示,在模型合并实验里,这两个象限的平均"保留率"(衡量合并后模型保留原有能力多少的指标)分别是0.57和0.56,几乎一样,但一个该砸钱砸时间,另一个该换方法。如果只看分数不看象限,你很可能用错力气。
这就像看病。两个病人体温都是38.5度,表面症状一样,但一个是细菌感染该用抗生素,另一个是病毒感染抗生素根本无效。表面指标相同,病因不同,处方自然也得不同。只看体温这一个数字,会让你用错药。
**反直觉发现:同一个模型家族,在不同场景下表现完全相反**
这篇论文里最让我意外的一个发现是,对比式视觉语言模型(比如CLIP、SigLIP)在跨模态对齐场景里是最强王者,但在图像分类任务的模型合并场景里,它们反而成了垫底的那批。
数据显示,在模型合并实验中,"立即行动"区域被判别式模型、自蒸馏模型、重建式模型占据,而"天花板受限"和"不兼容"区域集中在对比式视觉语言范式上,因为这类模型在分类微调之后特征变化太大,导致合并时权重平均容易"打架"。
这个发现打破了一个很容易产生的误解,那就是觉得某个模型家族"天生强",其他家族"天生弱"。真相是,根本没有放之四海而皆准的"最强模型",关键永远是这个模型的训练目标是不是跟你要做的下游任务的目标对得上。CLIP厉害在图文匹配,因为它本来就是冲着这个目标训练的,但让它去跟另一个图像分类模型合并参数,它反而因为特征漂移太厉害而拖后腿。
论文还做了多任务版本的任务算术实验,把全部八个任务的权重向量一次性叠加合并,结果显示这个范式反转在更复杂的多任务场景下依然成立,判别式范式能保留0.52的多任务准确率,而对比式视觉语言范式只剩0.10,差了五倍多。
**稳健性检验:这套方法经得起"刁难"吗**
一个诊断工具光在理想条件下好用还不够,论文花了大量篇幅做各种刁难式的检验。
他们测试了如果留出某个模型家族或者某种训练范式不参与计算,剩下的候选池里COMPASS还能不能保持预测能力,结果显示相关系数依然保持在0.85到0.93(跨模态对齐)和0.60到0.72(模型合并)之间,说明这个方法不是靠死记硬背某几个特定模型组合凑出来的巧合结果。
他们还测试了换用不同的适配器结构(线性层、多层感知机、LoRA风格的低秩适配器)来做跨模态对齐,COMPASS依然能保持预测能力,说明这个诊断不是只对某一种特定的对齐训练方法有效。
更有意思的是他们对"天花板"这个数值做的噪声鲁棒性测试。他们故意往天花板分数里加入随机噪声,发现即便噪声幅度达到天花板自身波动范围的50%,整体预测效果也只是略微下降,从0.91掉到0.88左右。但如果把不同范式之间的天花板顺序故意打乱(比如把本该排第一的范式和排最后的范式调换位置),预测效果立刻大幅跳水到0.68,比完全不用天花板分数(只用容易度打分能到0.87)还要差。
这个发现揭示了一个很微妙的点:天花板这个分数,重要的不是精确到小数点后几位,而是相对排序对不对。只要大体知道"哪些范式之间更合得来,哪些更合不来"这个粗略的方向,就已经够用了,但如果这个方向本身搞错了,反而会误导整个判断,比完全不参考还糟糕。
这跟挑餐厅有点像。你不需要精确知道一家餐厅的评分是4.3还是4.5,这种细微差别对你选择没太大影响,但你绝对不能把一家3分的餐厅和一家5分的餐厅的评分标签搞反了,错误的相对排序比没有排序信息更有害,因为它会主动把你引向错误的选择。
**写在后面**
读完这篇论文,一个让我反复琢磨的细节是SigLIP文本编码器那个意外的低分案例。论文在附录里专门花了一节解释,为什么SigLIP的文本塔跟各种视觉模型配对时,局部重叠分数异常低,原因居然是层选择算法选中的是SigLIP最浅的嵌入层,而不是深层表示,这导致暴露给探针的局部结构信息本身就少。这说明COMPASS这套诊断工具,本质上依赖于"你怎么从模型里取特征"这个操作细节,同一个模型,换一种取特征的方式,诊断结果可能完全不同。这提醒我,任何黑盒诊断工具背后都藏着具体的实现选择,这些选择不透明的话,很容易把方法的局限当成模型的局限。
另一个值得单独拎出来说的,是论文里关于训练预算的实验。他们发现"天花板"预测的是模型训练收敛之后能达到的最终水平,而不是"从10个epoch到300个epoch能提升多少"这件事。在某些场景下,天花板和提升幅度的相关性甚至是负的,因为天花板高的组合可能在训练早期就已经接近饱和了,反而是天花板低的组合还有更多上升空间可以挤。这个细节让我意识到,"潜力"和"增量"是两件完全不同的事,一个模型组合的潜力上限高,不代表它在你给定的训练预算内进步得更快。
这套思路能不能用到模型之外的地方?比如说,两个人要不要组队做项目,是不是也存在类似的"容易度"(磨合成本高不高)和"天花板"(两人技能互补的理论上限)这两个独立的轴?如果真的存在这种结构,那判断"要不要花时间磨合一个团队"这件事,或许也可以先问问:我们的方向本质上兼容吗,还是说我们一开始就在往不同的地方用力?
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。