"让视觉遇见理性"：模型融合让AI同时具备视觉感知与逻辑推理能力

在2025年5月发表于第41届国际机器学习会议(ICML 2025)的一项创新研究中，来自香港城市大学的陈世琦、香港科技大学的张京涵、新加坡国立大学的朱桐耀，以及包括香港科技大学的刘伟、香港城市大学的高斯阳、新加坡国立大学的熊淼和西北大学的李曼玲在内的研究团队，提出了一种名为"模型融合"的方法，成功地将语言模型的推理能力与视觉语言模型的感知能力结合起来。有兴趣的读者可通过 https://github.com/shiqichen17/VLM_Merging 访问他们的研究代码。

一、研究背景：为什么AI需要同时具备"看"和"想"的能力？

想象一下，你在阅读一份复杂的科学报告，里面充满了图表和数据。作为人类，你能够轻松地看懂这些视觉内容，并且进行复杂的思考和推理。但对于人工智能来说，这却是一个巨大的挑战。

目前的AI世界中存在两类主要模型：一类是视觉语言模型(VLMs)，擅长"看"东西；另一类是大型语言模型(LLMs)，擅长"思考"和推理。这就像是有一个人视力很好但思维简单，而另一个人思维敏捷但几乎看不见东西。理想情况下，我们希望AI既能看懂复杂的视觉内容，又能对其进行深入的推理分析。

这支研究团队发现，虽然VLMs在需要视觉和语言整合的任务上表现出色，但它们在复杂的多模态推理任务上却表现不佳。简单来说，它们能看懂图像，但不擅长对看到的内容进行深入思考。相比之下，纯语言模型在推理任务上取得了显著进步。

那么问题来了：能否将语言模型的推理能力"嫁接"到视觉语言模型上，让一个AI系统同时拥有出色的视觉感知和逻辑推理能力？

二、模型融合：AI能力的"拼图游戏"

研究团队提出了一个巧妙的方法：模型融合(Model Merging)。这个方法听起来可能很复杂，但实际上它的核心理念非常简单，就像是拼图游戏一样。

想象你有两块拼图：一块代表视觉感知能力，另一块代表推理能力。模型融合就是找到一种方法，将这两块拼图完美地组合在一起，创造出一个既能"看"又能"想"的AI系统。

具体来说，研究团队使用了"参数加权平均"的方法。这就像是在烹饪中混合不同的调料一样——你可以添加70%的调料A和30%的调料B，以获得理想的味道。在这项研究中，研究人员将VLM的参数与专注于推理的LLM的参数进行混合，通过调整不同模型的"配比"，找到最佳的融合方式。

与传统方法不同的是，这种融合不需要额外的训练。想象一下，如果你要教会一个人既能看懂图表又能进行复杂推理，通常需要长时间的训练。但模型融合方法就像是直接把两个人的能力组合在一起，无需从头开始训练。这就是研究人员所说的"免训练"方法。

三、惊人的发现：视觉感知和推理能力可以和平共处

研究团队进行了大量实验，将常用的VLMs与专注于数学推理的LLMs融合。结果令人惊喜：模型融合不仅成功地将推理能力转移到了VLMs中，而且对原有的视觉感知能力几乎没有负面影响。

具体来说，当研究团队将一个名为Dart的数学推理模型与LLaVA（一种流行的视觉语言模型）融合后，融合模型在MathVista数据集上的数学相关子集表现提升了3.6个百分点。即使在MathVerse数据集的纯视觉模式下（问题以图像形式呈现），性能也提高了1.4个百分点。

这就像是给一个视力极好但数学不太好的人"植入"了数学天才的思维，结果他不仅变成了数学高手，而且视力依然保持了原有的敏锐。

更有趣的是，研究团队发现融合后的模型能够生成更长、更详细的答案。特别是在几何问题解决、几何推理和代数推理等需要深入思考的任务中，答案长度增加了超过250%。这表明融合后的模型不仅能给出正确答案，还能像数学老师一样详细解释推理过程。

四、揭开AI大脑的神秘面纱：视觉和推理分别"藏"在哪里？

通过这项研究，科学家们不仅实现了能力的融合，还揭示了VLMs内部的工作机制——视觉感知和推理能力在模型中的分布情况。

通过一系列的"隐去分析"（就像是临时关闭大脑的某一区域，看看会对哪些能力产生影响），研究人员发现了两个关键结论：

首先，视觉感知能力和世界知识主要存储在模型的早期层中，而数学推理能力则主要集中在中后期层。这就像人类大脑中，视觉信息首先由初级视觉皮层处理，然后才传递到负责高级思维的前额叶皮层进行深入分析。

其次，当与推理模型融合后，推理能力被传递到了模型的所有层中，而视觉感知能力的分布几乎保持不变。这表明融合过程是高度精准的，它增强了模型的推理能力，同时几乎完全保留了原有的视觉处理能力。

研究人员还发现，一些推理能力较弱的VLMs在早期和中期层对噪声特别敏感，这意味着这些层在处理视觉信息方面起着关键作用。而后期层则相对稳健，主要负责高级推理功能。融合后的模型在所有层上都显示出更强的噪声抵抗能力，表明推理能力的融入使整个系统变得更加稳定和可靠。

五、实际效果：融合模型的表现有多惊人？

为了验证融合模型的效果，研究团队在多个基准测试上进行了广泛的实验，包括MathVista、MathVerse、MathVision、Dynamath和MMStar等。

在MathVista数据集上，将Dart-Prop与LLaVA融合后，数学相关问题的正确率从25.4%提升到了28.9%。这相当于在30道数学题中，原模型能答对约7-8道题，而融合后的模型能答对接近9道题。

更令人印象深刻的是，在MathVerse基准测试的文本主导模式中，与Dart-Prop融合使得性能从25.9%提升到了30.7%，相对提升幅度达到30%。这就像是一个学生经过短期强化辅导后，考试成绩突然大幅提升一样。

研究团队还发现，融合模型在直接要求数学和文本主导能力的任务上表现出一致的改进，如几何推理、代数推理和教科书问题解答。而在需要大量视觉处理的任务（如视觉问答和图形问题解答）上则表现出轻微的性能下降。

这一发现揭示了一个有趣的现象：当模型需要先理解视觉内容再进行推理时，如果瓶颈在于视觉理解阶段，那么增强推理能力可能不会带来显著的性能提升。这就像是给一个视力不好的人配上高级计算器，如果他看不清题目，那么计算能力的提升也帮不上太大忙。

六、更大更强的模型表现如何？

研究人员还将这一方法应用到了更大规模的模型上，包括8B参数的Idefics2和76B参数的InternVL2。结果显示，对于InternVL2-76B，与Dart融合使所有基准测试的性能提高了约1个百分点，这证明了模型融合方法对大规模VLMs同样有效。

对于Idefics，虽然大多数推理任务向量未能提供显著收益，但研究人员认为这可能是因为Idefics已经在大规模文本数据（包括数学微调数据）上进行了广泛训练，与现有任务向量存在高度重叠，从而限制了通过融合带来的进一步改进。

七、研究意义：这项发现将带来什么改变？

这项研究的意义远不止于提升AI在数学问题上的表现。它为我们理解AI模型内部工作机制提供了新的视角，特别是关于不同能力（如感知和推理）如何在模型中相互作用的机制。

首先，它证明了模型融合是一种有效的方法，可以在不需要额外训练的情况下，将一个模型的特定能力转移到另一个模型中。这为AI研究开辟了一条新的发展路径，使我们能够更灵活地组合和利用现有模型的优势。

其次，这项研究揭示了VLMs内部的能力分布情况，帮助我们更好地理解这些复杂模型的工作原理。这种理解不仅有助于设计更有效的模型架构，还可能启发我们开发更高效的训练方法。

最后，这项研究为构建具有强大视觉理解和复杂推理能力的下一代AI系统提供了重要指导。随着这些技术的发展，我们可能会看到能够解决更复杂问题的AI助手，例如帮助学生理解复杂的数学图表，或者辅助科学家分析复杂的实验数据。

结语：AI的未来之路

说到底，这项研究向我们展示了一个令人兴奋的可能性：通过模型融合，我们可以创造出既能看又能思考的AI系统，而无需从头开始训练新模型。这就像是让两个各有所长的专家紧密合作，创造出比单独工作更强大的团队。

未来，随着这种技术的进一步发展，我们可能会看到更多令人惊叹的AI应用，从教育辅助工具到科学研究助手，再到能够理解和分析复杂视觉信息的个人助理。这项研究不仅推动了AI技术的发展，也让我们对AI的未来充满期待。

正如研究人员所示，模型融合不仅是一种技术方法，更是一种解读AI内部机制的强大工具。通过将不同能力的模型融合在一起，我们不仅获得了功能更强大的AI系统，还揭示了AI"大脑"中不同能力的分布和相互作用机制。

如果你对这项研究感兴趣，可以访问研究团队的GitHub仓库(https://github.com/shiqichen17/VLM_Merging)了解更多细节，或者阅读他们发表在ICML 2025会议上的完整论文。