VGR：中科院和字节跳动的AI突破——让机器真正"看懂"图片再推理

这项由中国科学院人工智能学院的王嘉琮、康子健、王浩晨、姜海勇、肖俊等研究者与字节跳动的李佳雯、吴泊宏、王雅、冉娇、梁笑、冯超等团队共同完成的研究发表于2025年1月。有兴趣深入了解的读者可以通过论文主页https://huggingface.co/BytedanceDouyinContent/VGR访问完整信息。

传统的人工智能就像一个只能通过文字理解世界的学生。当老师给它一张图片并问问题时，这个AI学生往往会忽略图片中的关键细节，仅凭文字描述就匆忙给出答案。这就好比让人只听别人的描述来回答关于一幅画的问题，自然容易出错。

中科院和字节跳动的研究团队发现了这个问题的根源。现有的多模态AI模型虽然能"看到"图片，但在推理过程中主要还是依赖语言，就像戴着有色眼镜看世界一样，容易产生偏见。特别是在需要仔细观察图片细节的任务中，比如分析复杂图表、阅读文档或解答科学问题时，这种"语言偏见"会导致明显的性能下降。

为了解决这个问题，研究团队开发了VGR（Visual Grounded Reasoning，视觉锚定推理）系统。这个系统的核心思想很像一个善于观察的侦探：当面对一个案件时，侦探不会仅凭第一印象就下结论，而是会仔细检查现场的每一个关键线索，在需要时重新审视重要证据，然后基于这些实际观察到的证据进行推理。

VGR的工作原理可以用看医生来类比。传统AI就像一个只听病人口述症状就开药的医生，而VGR则像一个会主动要求看X光片、化验单等具体检查结果的医生。当VGR遇到需要详细分析的问题时，它会主动"放大镜头"，重点关注图片中的关键区域，就像医生会仔细观察X光片上的可疑阴影一样。

一、突破性的"选择性回放"技术

VGR最独特的地方在于它的"选择性回放"机制。这就像给AI配备了一个可以随时调取的图片档案库。当AI在推理过程中需要查看某个特定区域时，它可以发出一个特殊信号，系统就会立即提供那个区域的高清图像信息。

具体来说，这个过程类似于用手机看照片。当你想看照片中某个人的表情时，你会用手指放大那个区域。VGR也是如此，当它需要分析图表中的某个数值或文档中的某行文字时，会用类似"[坐标]"这样的特殊标记来"框选"需要仔细查看的区域。

这种设计的巧妙之处在于效率。传统方法需要处理整张高分辨率图片的所有信息，就像要把整本百科全书都背下来才能回答一个问题。而VGR只在需要时才调取特定区域的详细信息，就像按需查阅百科全书的特定章节，大大提高了处理效率。

研究团队采用了一种"先扩展再压缩"的策略来平衡细节保存和计算效率。他们将传统方法支持的图片分块数量从4个增加到16个，但同时使用压缩技术减少了70%的计算量。这就像用更精密的相机拍摄了更多角度的照片，但通过智能存储技术让文件大小反而更小。

二、革命性的训练数据构建

要训练这样一个会"看图推理"的AI，需要特殊的训练数据。这就像教孩子学习时，不能只给他们文字练习题，还需要配有详细图解的习题册。

研究团队设计了一个三阶段的数据构建流程，就像酿酒的过程一样，每个阶段都在提纯和改善质量。

首先是"冷启动"阶段。团队使用现有的先进AI模型Qwen2.5-VL-72B来生成初始训练数据。这个过程就像让一个有经验的老师先出一套示范题目。他们要求这个AI模型不仅要回答问题，还要明确指出图片中支持其答案的关键区域，就像要求学生在考试时不仅写答案，还要标注参考了教科书的哪些页面。

但是，即使是优秀的AI老师也会犯错。因此，团队设计了严格的"拒绝采样"流程来筛选高质量数据。这个过程就像编辑部审稿一样，包含三道关卡：格式验证确保答案能被正确解析，准确性验证检查答案是否正确，视觉定位验证确认标注的图片区域是否真的包含相关信息。

为了进一步提高数据生成效率，团队训练了专门的"标注模型"。这个模型就像培养了一个专门的助教，通过学习少量高质量样本，能够快速生成更多符合要求的训练数据。这个标注模型的通过率从最初的14%提升到了40%，生成速度也显著提高。

三、精密的技术架构设计

VGR的技术架构就像一个精密的瑞士手表，每个组件都经过精心设计和优化。

在图像处理方面，VGR采用了LLaVA的AnyRes方法来处理高分辨率图像。这就像用拼图的方式处理大照片：先把整张图片分成若干小块，每块都保持足够的清晰度，然后再智能地拼接和处理这些信息。

为了让AI能准确"框选"需要查看的区域，研究团队设计了专门的检测损失函数。这就像训练射箭选手一样，不仅要求他们能射中靶心，还要确保每一箭的精准度都符合标准。这个函数结合了位置精确度和区域重叠度两个指标，确保AI能准确定位到图片中的关键信息。

系统还采用了巧妙的特征压缩策略。对于整体预览图片，使用2×2的压缩；对于需要细看的局部区域，同样使用2×2压缩以保持细节；而对于辅助的高分辨率分块，则使用4×4压缩来节省计算资源。这就像摄影师会根据不同用途选择不同的照片分辨率一样。

四、令人瞩目的实验成果

VGR在多个测试基准上的表现就像一个优秀学生在各科考试中都名列前茅。在MMStar基准测试中，VGR比基线模型LLaVA-NeXT提升了4.1分；在AI2D科学图表理解任务中提升了7.1分；在ChartQA图表问答任务中更是实现了12.9分的大幅提升。

更令人印象深刻的是，VGR在取得这些成绩的同时，只使用了基线模型30%的图像信息量。这就像一个学生用更少的复习时间却考出了更好的成绩，体现了方法的高效性。

为了验证系统各个组件的重要性，研究团队进行了详细的消融实验。他们发现，视觉定位和推理过程必须同时存在才能发挥最佳效果，就像烹饪时需要同时掌握火候和调料一样，缺一不可。

实验还显示，检测损失函数对于准确定位至关重要。由于坐标信息是连续的数值，传统的文本生成方法容易产生量化误差，而专门的检测损失能确保坐标预测的精确性。

特征回放机制的重要性也得到了验证。仅仅标注重要区域而不提供这些区域的详细视觉信息，性能提升非常有限。这证明了"真正看到细节"而不是"知道哪里重要"才是关键。

五、实际应用展示

在实际使用中，VGR展现出了令人印象深刻的能力。面对复杂的图表分析任务时，VGR会自动识别需要重点关注的数据点，然后基于这些具体观察进行推理。

比如在分析一个关于日本和英国经济贸易影响的柱状图时，VGR首先识别出需要比较的两个国家的数据条，然后准确提取各自的数值（日本974百万美元，英国669百万美元），最后计算出差值305百万美元。整个过程就像一个仔细的会计师在核对账目一样条理清晰。

在文档理解任务中，VGR能够准确定位表格中的特定信息。当被问及某个会议的调查员是谁时，VGR会先找到相关的表格行，然后精确定位到对应的单元格，最终给出准确答案。

这种能力在科学图表理解方面尤为突出。面对生物结构图时，VGR能够准确识别不同层次的标注，理解各部分的功能关系，然后基于这些具体观察来回答问题。

六、创新意义与局限性

VGR的创新不仅在于技术实现，更在于思路的转变。它首次实现了多模态推理中的"按需视觉查询"，就像给AI装上了可以随时调焦的智能眼镜。

这种方法的意义在于真正实现了视觉信息与语言推理的深度融合。传统方法往往是"先看后想"，而VGR实现了"边看边想"，在推理过程中动态调取所需的视觉信息。

当然，VGR也有其局限性。目前它主要基于LLaVA架构，未来可能需要探索更强大的视觉编码器和语言模型来进一步提升性能。研究团队也提到，结合强化学习可能会带来更大的突破。

另外，VGR目前主要在需要精细视觉理解的任务中表现突出，在一些更依赖常识推理的任务中优势可能不那么明显。这就像专业的显微镜在观察细胞结构时效果卓越，但用来看风景可能就显得大材小用了。

归根结底，VGR代表了多模态AI发展的一个重要方向：从简单的"看一眼就判断"转向"仔细观察再推理"。这种转变不仅提高了AI的准确性，也让AI的推理过程更加透明和可解释。当AI告诉我们它的答案时，我们也能看到它具体观察了图片的哪些部分，这种"可视化推理"为AI的可信度建设提供了新的可能。

随着这项技术的进一步发展和优化，我们有理由期待AI在图像理解和多模态推理方面能够达到更接近人类的水平。对于普通用户来说，这意味着未来的AI助手将能够更准确地帮助我们分析图表、理解文档、解答视觉相关的问题，让AI真正成为我们可信赖的智能伙伴。有兴趣的读者可以通过项目主页进一步了解这项突破性的研究成果。

Q&A

Q1：VGR是什么？它跟普通AI有什么不同？ A：VGR是一种新的AI视觉推理系统，最大不同在于它会在推理过程中主动"放大查看"图片的关键区域，就像人类看图时会重点关注某些细节一样，而不是像传统AI那样只粗略看一眼就下结论。

Q2：VGR会不会让AI变得更智能？ A：是的，特别是在需要仔细观察图片细节的任务上。VGR让AI的图表分析能力提升了12.9分，同时只用了传统方法30%的计算量，这意味着AI能更准确地理解复杂图像。

Q3：普通人能用到VGR吗？什么时候能普及？ A：目前VGR还是研究阶段的技术，但未来很可能被整合到各种AI应用中。这意味着我们的AI助手将能更好地帮助分析图表、理解文档，让人机交互更加智能和可靠。