香港大学团队突破多图理解难题：让AI像人类一样"看懂"图像之间的细微差别

这项由香港大学的陈曦、吴晓阳、赵恒爽等研究者，联合香港中文大学、阿里巴巴通义实验室以及华中科技大学的团队完成的研究，发表于2025年6月的arXiv预印本平台（论文编号：arXiv:2506.22434v1）。有兴趣深入了解的读者可以通过该编号在arXiv官网访问完整论文。

当我们看到一张照片时，我们的大脑能够轻松地将它与另一张照片进行比较，找出其中的相同点和不同点。比如说，你能很快发现两张几乎一样的照片中，其中一张多了一只小猫，或者某个人换了件衣服。但是，当前最先进的人工智能视觉模型，即使能够理解单张图片的内容，却在比较多张图片时表现得像个"视力不好的人"——它们经常看不出细微的差别，或者完全搞错了图片之间的关联。

研究团队通过大量测试发现，现有的人工智能模型在处理需要跨图片比较的任务时，表现远远不如人类。举个例子，当给AI展示三张连续的视频截图，询问摄像头是如何移动的时候，AI经常给出错误的答案。或者当要求AI识别几张照片中有多少个不同的玩具时，它可能会把同一个玩具算成不同的，或者把不同的玩具当成同一个。

这个问题的根源在于，虽然现在的AI已经具备了很强的单图理解能力，但它们缺乏一种关键的"元认知技能"——视觉比较能力。就像一个人可能认识很多字，但不会阅读理解一样，AI能看懂单张图片，却不会在多张图片之间建立联系和进行推理。

为了解决这个问题，研究团队开发了一个名为MiCo（Multi-image Contrast，多图对比）的训练框架。这个方法的巧妙之处在于，它不需要人工标注大量的问答数据，而是利用图像本身包含的天然约束作为监督信号。这就像教孩子识别差异时，不需要给他准备标准答案，而是让他通过观察和比较自己发现规律。

MiCo的核心思想受到了自监督学习的启发。研究团队构建了特殊的图像三元组：两张是同一图像的不同增强版本（比如稍微裁剪或调整大小），第三张是内容相似但实际不同的图像。在训练过程中，AI被要求对这三张图片进行比较，判断哪些是相同的，哪些是不同的，并且要生成详细的推理过程来解释自己的判断。

为了确保训练的有效性，研究团队精心设计了数据来源。他们从视频中提取相隔几秒的画面，这些画面在视觉上非常相似，但包含细微的变化，比如人物的动作或物体的位置发生了微调。同时，他们也使用了图像编辑数据集，其中包含"编辑前"和"编辑后"的图像对，这些变化同样很细微但很有意义。通过计算结构相似性指数和像素差异，研究团队过滤掉了那些差异过大或过小的图像对，确保AI需要仔细观察才能发现差异。

在训练策略上，研究团队提出了"增强GRPO"（Augmented GRPO）方法。这种方法的工作原理类似于让学生先在简单题目上练习推理过程，然后用这些推理方法去解决更难的题目。具体来说，AI首先在弱增强的图像上生成推理轨迹，这些图像相对容易处理，AI更容易产生正确的推理过程。然后，研究团队使用这些高质量的推理过程来优化AI在强增强图像上的表现，这些图像更具挑战性。

整个训练过程使用了强化学习的方法。AI的每个回答都会得到奖励或惩罚：如果它正确识别了三对图像比较中的所有关系，就获得正奖励；如果有任何错误，就不获得奖励。这种二元奖励机制迫使AI必须在推理过程中格外仔细，不能有任何疏漏。

为了增加训练的多样性，研究团队还设计了不同类型的比较任务。除了三图比较，他们还构建了两图比较的任务，并使用GPT-4o生成了多种不同表达方式的问题，比如"图1和图2是否相同？"或者"图1和图2有什么区别？"。这种多样性帮助AI学会处理各种形式的视觉比较任务。

研究团队在多个标准测试集上评估了MiCo的效果。在VLM2-Bench这个专门测试多图理解能力的基准测试中，MiCo取得了显著的改进。这个测试包括三个主要类别：通用线索、以物体为中心的线索，以及以人为中心的线索。每个类别又包含不同的子任务，比如匹配、跟踪、比较、计数和分组等。

测试结果显示，MiCo在大多数任务上都超越了现有的最先进模型，包括GPT-4o。特别值得注意的是，在需要精确视觉比较的任务上，比如物体跟踪和视觉匹配，MiCo的提升最为明显。然而，研究团队也发现，在涉及人脸识别的任务上，改进相对有限。他们分析认为，这是因为人脸的细微特征很难用语言准确描述，因此基于语言推理的方法在这类任务上存在天然局限。

除了专门的多图理解任务，研究团队还测试了MiCo在其他视觉任务上的表现。令人惊喜的是，虽然MiCo只在图像比较任务上训练，但它在单图理解任务上也有所改进。这表明，学会仔细比较图像的过程也提高了AI对单张图像细节的关注能力。

在MuirBench和BLINK等综合性多图理解测试中，MiCo同样表现出色。这些测试涵盖了从简单的视觉检索到复杂的空间推理等各种任务。MiCo在需要建立图像间对应关系的任务上表现最佳，比如语义对应和视觉检索。这证实了该方法在训练AI建立跨图像联系方面的有效性。

研究团队还进行了详细的消融实验，验证了设计中每个组件的重要性。他们发现，单纯使用监督学习训练的模型改进有限，而没有推理过程的强化学习也效果不佳。只有结合了推理过程生成和强化学习优化的完整方法才能取得最佳效果。同时，他们发现结合视频数据和图像编辑数据的训练效果最好，这表明不同类型的视觉变化都有助于AI学习比较技能。

在数据源的选择上，研究团队验证了视频帧和图像编辑数据的有效性。视频帧提供了时间维度上的细微变化，比如物体的移动或状态的改变；而图像编辑数据则提供了更多样化的语义变化，比如颜色、纹理或对象的修改。两种数据源的结合使得AI能够学会识别各种类型的视觉差异。

在增强策略的设计上，研究团队尝试了多种图像变换方法，最终选择了随机裁剪和缩放作为主要的增强手段。这些变换不会改变图像的核心内容，但会增加比较的难度，迫使AI关注更本质的视觉特征而不是表面的像素对应。

关于提示词的多样性，研究团队发现，使用多种不同表达方式的问题对防止过拟合很重要。他们设计了正向问题（"是否相同？"）和反向问题（"是否不同？"），以及不同的图像对组合，确保AI学会处理各种可能的比较情况。

MiCo方法的一个重要优势是其训练效率。与需要大量人工标注的传统方法相比，MiCo只需要收集图像对，不需要复杂的问答标注。这大大降低了数据准备的成本，使得该方法更容易扩展到新的领域和语言。

从技术实现角度来看，研究团队使用Qwen2.5-VL-7B作为基础模型，这是一个已经具备良好视觉理解能力的大型视觉语言模型。他们使用了8块A100 GPU进行训练，总共进行了600次迭代，每次处理16个样本，每个样本生成8个推理轨迹进行比较。

在实际应用中，MiCo展现出了强大的泛化能力。经过训练的模型不仅能够准确比较图像，还能生成详细的推理过程，解释自己的判断依据。例如，当比较两张咖啡杯的图片时，模型会详细分析每个杯子的设计特征、颜色搭配和装饰图案，然后基于这些观察得出结论。

研究团队也诚实地指出了当前方法的局限性。MiCo在需要特定领域知识的任务上表现有限，比如数学推理或人脸验证。这是因为该方法主要关注视觉比较技能的培养，而没有专门针对这些特殊任务进行优化。

此外，虽然MiCo在大多数多图理解任务上都有改进，但在某些需要深度空间理解的任务上，比如相对深度估计，所有模型的表现都还有待提高。这表明空间感知仍然是视觉AI面临的一个重要挑战。

从方法论的角度来看，MiCo代表了一种新的训练范式：利用数据的内在结构作为监督信号，而不是依赖外部标注。这种思路可能启发更多类似的自监督学习方法，减少对人工标注数据的依赖。

总的来说，这项研究成功地解决了多图视觉理解中的一个核心问题：如何让AI学会像人类一样比较和关联多张图像。通过巧妙的数据构造和训练策略设计，研究团队证明了即使不使用大量人工标注的数据，也能显著提升AI的多图推理能力。这不仅推进了视觉AI技术的发展，也为构建更智能、更实用的视觉系统提供了新的方向。MiCo的成功表明，有时候最有效的学习方法不是给AI更多的标准答案，而是教会它如何自己观察和思考。

Q&A

Q1：MiCo是什么？它能做什么？ A：MiCo是香港大学团队开发的多图对比训练框架，专门用来提升AI的多图理解能力。它能让AI像人类一样准确比较多张图片的相同点和不同点，识别图片间的细微差异，并进行跨图推理。比如判断几张照片中有多少个不同的物体，或者分析视频中摄像头是如何移动的。

Q2：MiCo会不会取代现有的AI训练方法？ A：不会完全取代，但会成为一个重要补充。MiCo主要解决的是多图比较这个特定问题，它的优势在于不需要大量人工标注数据。对于其他AI任务，比如数学推理或特定领域的专业任务，仍然需要传统的训练方法。MiCo更像是给AI添加了一项新技能。

Q3：普通人能使用MiCo技术吗？有什么实际应用？ A：目前MiCo还是研究阶段的技术，普通人无法直接使用。但这项技术未来可能应用到图片搜索、视频分析、医学影像对比、安防监控等领域。比如帮助医生比较不同时期的CT扫描图，或者让搜索引擎更准确地找到相似但不完全相同的图片。