CSVQA：中国团队打造超全面科学测评基准，挑战视觉语言模型的STEM推理能力

今年5月30日，来自天工智能和昆仑万维的研究团队在arXiv上发布了一篇重要论文《CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs》，为中文多模态评估领域带来了一个全新的基准测试数据集。这项由艾健、邱伟杰、王小昆等学者共同完成的研究，旨在全面评估视觉语言模型(VLMs)在科学领域的推理能力。有兴趣深入了解的读者可以通过arXiv:2505.24120v1查阅完整论文。

想象一下，如果你让AI看一张复杂的物理实验图或化学分子结构图，并用中文提问，AI能否像一位真正的科学老师那样给出正确解答？这正是CSVQA数据集要测试的核心能力。虽然目前的视觉语言模型在识别日常图片和回答常识性问题上表现越来越好，但面对需要专业知识和深度推理的科学问题时，它们的表现如何呢？

研究团队发现，即使是目前最强大的封闭源模型在CSVQA上的准确率也仅达到49.6%，而开源模型的最高成绩仅为38.5%。这说明在科学推理领域，AI模型与人类专家之间仍存在显著差距。这个结果并不令人意外，因为科学推理通常需要综合多种专业知识、理解抽象概念、分析视觉证据，并进行多步骤逻辑推导，这些都是目前AI系统的薄弱环节。

CSVQA数据集包含1,378道精心设计的问题，涵盖物理、化学、生物和数学四大学科，每个问题都配有相关图片，要求模型不仅能理解文字描述，还能分析图像中的科学信息。这些题目源自中国高中教材和考试题，难度从基础到高级不等。有趣的是，数据集中还包含人类专家提供的详细解题步骤，这让研究人员能够判断AI是否真正理解了问题，还是仅仅通过猜测得出了正确答案。

接下来，让我们深入了解这项研究的方方面面，看看CSVQA如何帮助推动视觉语言模型在科学推理领域的进步。

一、为什么我们需要CSVQA？现有评测的局限性

想象你正在测试一位自称"全能天才"的应聘者。如果你只问一些日常生活中的简单问题，可能无法真正了解他的专业水平。同样，现有的多模态评测基准主要关注的是日常图像理解和常识推理，难以有效测试AI在科学领域的真实能力。

目前最先进的视觉语言模型如InternVL2.5-78B在常规测试中表现惊人，在DocVQA上达到95.1%的准确率，在InfoVQA上达到84.1%，在MMBench上达到88.3%。乍看之下，这些数字令人印象深刻，但这些测试主要评估的是感知理解能力，而非深度科学推理能力。

就像用简单的加减乘除题无法测试一个人的高等数学能力一样，这些通用基准测试也无法真正衡量模型处理专业科学问题的能力。科学推理通常需要模型理解专业术语、解读复杂图表、应用领域知识，并执行多步骤的逻辑推理过程。这种"知识+推理+视觉理解"的组合能力，恰恰是现有评测所忽略的。

此外，现有的多模态评测大多以英文为主，缺乏针对中文环境的专业科学评测。考虑到中文科学表达有其独特的术语和表述方式，这一缺口亟待填补。

CSVQA正是为了解决这些问题而设计的。它不仅关注科学推理，还特别针对中文环境，让我们能更全面地评估视觉语言模型在真实科学场景中的表现。通过建立这样一个基准，研究人员可以清晰地了解当前模型的局限性，为未来的改进指明方向。

二、CSVQA：一场专为科学思维设计的挑战

CSVQA就像是为AI模型设计的一场科学竞赛，题目不再是"识别这张照片中有什么"，而是"分析这个物理实验图，计算出力的大小"或"根据这个分子结构图，判断哪种化学反应会发生"。

数据集的构建过程堪比精心筹备一场高水平的学科竞赛。研究团队首先从公开可用的中国高中教材和考试题库中收集材料，筛选出同时包含文字和图像的科学问题。随后，他们应用一套严格的质量控制流程，确保每个问题都具有清晰的科学背景、准确的答案和详细的解题步骤。

CSVQA数据集包含1,378道问题，其中约81%的问题配有专家撰写的详细解释。这些问题分布在物理(30.62%)、生物(23.10%)、化学(26.36%)和数学(19.92%)四个学科领域，构成了一个全面覆盖STEM学科的评测体系。

在图像类型方面，CSVQA展现出惊人的多样性，包含了14种不同的视觉模态，从显微镜图像、表格、分子模型，到插图、照片、图表等。这种多样性确保了模型需要处理各种各样的科学视觉表达，而不仅仅是某一特定类型的图像。

每个问题都精心设计为需要模型同时具备三种能力：感知(理解图像内容)、理解(掌握相关科学知识)和推理(应用知识解决问题)。想象一下，就像人类解决科学问题一样，模型需要先"看懂"图表或图像，然后调用相关领域知识，最后通过逻辑推理得出答案。

为了测试不同类型的推理能力，CSVQA同时包含选择题(1,278道)和开放性问题(100道)。选择题提供多个选项供模型选择，而开放性问题则要求模型生成完整的答案，这对模型的生成能力提出了更高要求。

研究团队还特别设计了一个难度更高的子集"CSVQA-Hard"，这些问题具有更高的视觉依赖性和推理复杂性。就像奥林匹克竞赛中的压轴题，这些问题能够更好地区分顶尖模型与普通模型之间的差距。

三、探秘CSVQA：比起其他基准测试有何不同？

如果把各种AI评测基准比作不同类型的考试，那么CSVQA就像是一场专注于科学思维的高级挑战赛，它与其他测试有着显著的区别。

首先，CSVQA保持了纯粹的STEM学科专注度。与ScienceQA和MMMU等包含大量非STEM内容的基准不同，CSVQA严格聚焦于四个核心科学学科，确保每个问题都直接评估STEM能力。这就像专业资格考试与通识教育考试的区别——前者深入特定领域，后者覆盖面广但深度有限。

其次，CSVQA的一大特色是以解释为驱动的设计。数据集中81.1%的问题都配有全面的解题步骤分解，这对诊断推理失败和提高模型可解释性至关重要。想象一下，这就像不仅要求学生给出答案，还要展示完整的解题过程，从而评判他们是否真正理解了问题。

第三，CSVQA强调推理密集型任务。通过融合14种专业视觉格式和平均长度为69.7字的信息丰富问题，CSVQA引导模型朝着更深入理解特定领域科学表示的方向发展。这些问题不是简单地询问"图中有什么"，而是要求模型理解科学原理，分析数据，并应用公式解决复杂问题。

最后，通过使用地道的中文科学术语和符号，CSVQA确保了语言和文化的真实性。这与翻译后可能失去细微差别的基准有所不同，为评估模型在中文科学环境中的表现提供了更准确的标准。

CSVQA与现有基准的比较也很有启发性。例如，ScienceQA虽然也涉及科学问题，但其问题平均长度为12.1字，远低于CSVQA的69.7字；MMMU虽然覆盖更多学科，但其解释覆盖率仅为17.62%，远低于CSVQA的81.1%。这些差异使CSVQA成为评估深度科学推理能力的更理想工具。

四、实验揭秘：AI模型在科学推理上有多强？

研究团队对15种视觉语言模型进行了全面测试，包括开源模型(如Qwen2.5VL-78B、InternVL3-78B等)和封闭源模型(如o1、Gemini2.0-flash等)。测试结果揭示了一些令人深思的发现。

想象一场科学知识竞赛，即使是最顶尖的选手也只能回答一半的问题。在CSVQA上，表现最好的模型o1也仅达到49.6%的总体准确率，而开源模型中的佼佼者Qwen2.5VL-78B也只有38.5%的准确率。这个结果凸显了即使是最先进的AI系统在处理科学视觉推理任务时仍面临重大挑战。

更有趣的是，不同模型在不同学科上的表现各异。就像学生有自己擅长和薄弱的科目一样，AI模型也是如此。大多数模型在物理和数学题上表现较差，这可能是因为这些学科需要更抽象的推理和符号理解能力。相比之下，在生物和化学题目上，模型的表现相对更好，可能是因为这些学科更依赖于特定领域知识的记忆和应用。

模型在不同视觉模态上的表现也很有启发性。一般来说，模型在文本丰富或结构化的图像(如流程图和表格)上表现较好，因为这些图像呈现大量直接可访问的信息。同样，在低内容符号图像(如化学结构)上也表现不错，因为大部分必要信息通常在问题描述中提供。相比之下，在需要更深入视觉理解或更复杂感知的图像类型上，表现则明显下降。

在难度级别方面，所有模型在简单和中等难度问题上表现较好，但在CSVQA-hard子集上准确率显著下降。这进一步说明了当前视觉语言模型在处理高视觉依赖性和复杂推理要求的样本时的局限性。

研究人员还进行了基于解释的评估，以确定正确答案是否来自有效推理而非随机猜测。结果显示，不同模型的推理一致性存在显著差异。o1模型展示了95.4%的高一致性，而Qwen2.5VL-72B和InternVL3-78B的一致性分别只有67.6%和74.9%。这表明开源模型更容易通过模式匹配或记忆而非真正的逻辑推理得出正确答案。

错误分析进一步揭示了模型失败的常见模式。感知错误(占23.0%)源于文本或视觉输入的不准确解释，其中视觉错误更为常见。推理错误(占38.7%)发生在模型正确解释输入但由于逻辑推理有缺陷而无法得出准确答案时。知识缺乏(占22.6%)反映了对特定领域概念的理解不足。其他错误(15.7%)则包括输出截断和风格相关问题。

五、深入探讨：思维链提示是否有帮助？

在解决复杂问题时，我们常常会"边思考边解答"，把解题过程一步步写下来。对AI模型来说，这种方法被称为"思维链"(Chain-of-Thought, CoT)提示。研究人员好奇：这种方法对帮助AI解决科学问题是否有效？

研究结果显示，CoT提示的效果是混合的，且高度依赖于模型本身。就像有些学生更适合直接给出答案，而有些学生则受益于详细的推理过程一样，不同的AI模型对CoT的反应也各不相同。

一些轻量级模型在使用CoT提示后表现有显著提升，提高幅度最高达6.5%。这就像给初学者提供解题模板，帮助他们梳理思路。然而，令人惊讶的是，大多数先进模型在使用CoT后性能反而下降。例如，Gemini2.0-flash的总体准确率下降了11.8%，开放式问题的准确率更是下降了高达23.0%。

这种现象可能说明，更强大的模型已经具备足够的内部推理能力，而强制它们遵循特定的推理模板反而会干扰其原有的思考过程。就像一位经验丰富的数学家可能已经发展出自己的解题方法，如果强制他遵循标准步骤反而会限制他的思维。

研究还发现，CoT提示的有效性因问题类型而异。轻量级或指令调优模型可能从引导性推理步骤中受益，特别是在处理结构化问题时。而对于更强大的模型，特别是在处理开放式问题时，过于刚性的输出模板可能会干扰其生成能力。

这一发现对实际应用有重要启示：在使用视觉语言模型解决科学问题时，应根据模型的特性和问题的类型灵活选择是否使用CoT提示，而非一刀切地应用同一策略。

六、启示与展望：我们离真正的AI科学家还有多远？

CSVQA基准测试揭示了当前视觉语言模型在科学推理方面的能力和局限性，为未来的研究指明了方向。

首先，实验结果表明，即使是最先进的模型在处理复杂科学问题时也面临显著挑战。最高49.6%的准确率意味着，即使是最好的模型也只能正确回答约一半的问题。这就像一位学生在科学测验中得了一半的分数——虽然已经掌握了一些基础知识，但距离真正的科学专家水平还有很大差距。

其次，不同模型在不同学科和视觉模态上的表现差异，揭示了特定领域知识和视觉理解能力的重要性。就像学生可能在生物学上表现出色但在物理学上挣扎一样，AI模型也有其"擅长"和"薄弱"的领域。这提示我们，未来的研究可能需要更注重特定领域知识的整合和跨模态理解能力的提升。

第三，错误分析揭示的常见失败模式为改进提供了具体方向。感知错误暗示需要增强视觉处理能力；推理错误指向逻辑推理机制的不足；知识缺乏则表明需要更好地整合科学领域知识。这就像教练分析运动员表现时，会具体指出需要改进的技术环节。

CSVQA的创建为评估和推动视觉语言模型在科学推理领域的发展提供了一个有价值的工具。这个基准测试不仅揭示了当前技术的局限性，也为未来的改进指明了方向。随着研究人员继续完善模型的知识整合、视觉理解和逻辑推理能力，我们可以期待未来的AI系统在处理复杂科学问题时展现出更接近人类专家的能力。

尽管如此，当前模型与真正的"AI科学家"之间仍存在显著差距。即使是最先进的模型也只能处理预定义的问题，而缺乏自主提出新问题、设计实验或提出原创科学理论的能力。真正的科学思维不仅仅是解决已知问题，更是发现新问题和创造新知识的过程。

七、结语：CSVQA的意义与未来方向

CSVQA作为一个专注于评估视觉语言模型科学推理能力的中文多模态基准测试，填补了当前评测体系中的重要空白。它不仅提供了一个严格测试模型在STEM领域表现的工具，还通过其多样化的题目设计和详细的解释评估，为模型能力的深入分析提供了可能。

这项研究的结果揭示了即使最先进的视觉语言模型在科学推理领域仍面临显著挑战，表现最好的模型也只能达到约50%的准确率。这一发现提醒我们，尽管AI技术在日常视觉理解和常识推理方面取得了巨大进步，但在需要专业知识和复杂推理的科学领域，仍有很长的路要走。

未来的研究方向可能包括：增强模型对专业科学知识的理解和整合能力；改进多模态信息的协同处理机制；设计更有效的推理策略；以及探索如何将模型的准确性与可解释性有机结合。这些进步将不仅提升AI在科学应用中的表现，也可能为科学教育和研究工具的发展带来新的可能性。

总之，CSVQA不仅是一个测评工具，更是推动视觉语言模型向更高级智能形态发展的催化剂。通过揭示当前技术的局限性和未来的改进方向，它为构建真正能够理解和应用科学知识的AI系统铺平了道路。