耶鲁大学推出SCIVER：让AI像人类专家一样验证科学论文中的声明

这项由耶鲁大学自然语言处理实验室的王承烨、沈逸飞、旷泽玺、阿曼·科汉和赵逸伦等研究人员完成的研究，发表于2025年6月18日的arXiv预印本平台。感兴趣的读者可以通过arXiv:2506.15569v1访问完整论文，同时相关数据和代码已在GitHub上开源供研究使用。

在当今这个信息爆炸的时代，科学研究如雨后春笋般涌现，但如何快速准确地验证这些研究中的声明却成了一个巨大挑战。就像在图书馆里寻找特定信息一样，科学家们需要在海量的论文、图表和数据中找到支持或反驳某个观点的证据。

耶鲁大学的研究团队注意到了一个有趣的现象：虽然现在的人工智能已经很聪明了，但在处理科学论文时却经常"偏科"——它们可能很擅长理解文字，但在同时处理文字、图表和表格时就显得力不从心。这就像一个学生可能语文很好，但遇到需要同时运用语文、数学和科学知识的综合题时就犯难了。

为了解决这个问题，研究团队开发了一个名为SCIVER的评估工具。这个工具就像是给AI设计的"科学论文理解考试"，专门测试AI是否能像人类专家一样，在复杂的科学文献中准确验证各种声明。

研究团队精心收集了1113篇计算机科学领域的论文，从中提取出3000个需要验证的声明。这些声明涵盖了四种不同的推理类型，就像考试中的不同题型一样。第一种是直接推理，就像在文章中直接找到答案的选择题；第二种是并行推理，需要同时查看多个不同的信息源；第三种是顺序推理，需要一步步地建立逻辑链条；最后一种是分析推理，需要运用专业知识进行深度分析。

为了确保这个"考试"的质量，研究团队特意招募了18位计算机科学领域的研究生和博士后作为专家标注员。这些专家就像严格的阅卷老师，每个人都在自己的专业领域有着丰富的发表经验。他们不仅要判断每个声明是否正确，还要详细标注出支持这个判断的具体证据，就像在试卷上标出正确答案的依据一样。

当研究团队用这个工具测试21个最先进的AI模型时，结果令人惊讶。这些模型包括了OpenAI的GPT-4系列、谷歌的Gemini系列，以及众多开源模型。测试结果显示，即使是最优秀的AI模型，在面对复杂的科学验证任务时，表现也远不如人类专家。

以最新的推理模型o4-mini为例，它在最简单的直接推理任务上能达到85%的准确率，已经接近人类专家的水平。但在最复杂的分析推理任务上，即使是表现最好的GPT-4.1也只能达到70.8%的准确率，而人类专家的准确率高达90%。这就像一个学生在简单的计算题上表现不错，但遇到需要深度思考的应用题时就明显吃力了。

更有趣的是，研究团队发现了AI模型的几个典型"毛病"。第一个问题是"找不到重点"，占错误的32%。就像学生做阅读理解时，明明答案就在文章里，但就是找不到关键信息。第二个问题是"看图说话能力差"，占21%的错误。AI在解读图表时经常出现误判，比如把数据趋势看反了。第三个问题是"逻辑链条断裂"，占17%的错误。AI无法将多个推理步骤有效连接起来，就像做数学证明题时步骤跳跃太大。

研究团队还发现，当需要的证据越多时，AI的表现就越差。这就像做综合性大题时，需要用到的知识点越多，出错的概率就越高。当一个声明需要三个以上的证据支持时，所有模型的准确率都明显下降。

为了帮助AI提高表现，研究团队还测试了检索增强生成技术，这就像给学生提供参考资料一样。结果显示，当AI能够获得更准确的相关信息时，它们的表现确实有所改善。使用OpenAI的嵌入模型进行信息检索时，Qwen2.5-VL-72B模型的准确率从70.2%提升到了75.3%。

这项研究的意义远不止于测试AI的能力。在当今科研环境下，研究论文数量激增，人工验证每个声明既费时又费力。如果AI能够可靠地完成这项工作，就能大大提高科研效率，帮助研究人员快速筛选和验证信息。

然而，研究也揭示了当前AI技术的局限性。这些模型在处理需要深度专业知识和复杂推理的任务时，仍然无法达到人类专家的水平。这提醒我们，虽然AI在很多领域都表现出色，但在科学研究这样需要严谨逻辑和专业判断的领域，人类专家的价值依然不可替代。

研究团队通过详细的错误分析发现，开源模型在某些方面还存在明显的不足。比如，它们往往过度依赖文本信息，而忽略了图表中的关键数据。这就像学生只看文字描述而忽略了配图，自然会遗漏重要信息。另外，一些模型还会犯领域知识错误，错误地应用专业术语或概念。

值得注意的是，不同类型的推理任务对AI来说难度差别很大。直接推理任务相对简单，因为答案通常能在单一信息源中找到。而分析推理任务最具挑战性，因为它不仅需要整合多个信息源，还需要运用专业知识进行判断。这种差异性为未来AI模型的改进指明了方向。

研究团队还发现，模型的规模并不总是决定性因素。一些参数量较小但设计精良的模型，在某些任务上的表现可能超过参数量更大的模型。这说明模型架构和训练方法的重要性，而不仅仅是简单地增加模型大小。

从实际应用角度来看，这项研究为科研工具的开发提供了重要参考。未来的科研助手工具需要在多模态理解能力上有更大突破，特别是在整合文本、图表和表格信息方面。同时，这些工具还需要具备更强的领域知识理解能力，能够准确把握不同学科的专业概念和推理模式。

对于普通读者来说，这项研究揭示了一个重要事实：虽然AI技术发展迅速，但在需要深度理解和专业判断的领域，我们仍然需要人类专家的智慧。这并不意味着AI没有价值，而是说AI和人类专家应该发挥各自的优势，形成互补的合作关系。

研究的另一个重要发现是，不同的AI模型在不同类型的任务上表现各异。这提醒我们，在选择AI工具时不能一概而论，而应该根据具体的应用场景和需求来选择最合适的模型。就像选择工具一样，不同的任务需要不同的专业工具。

最终，这项研究为AI在科学研究中的应用提供了重要的基准和参考标准。SCIVER不仅是一个评估工具，更是推动AI技术进步的重要驱动力。通过明确现有技术的不足，它为研究人员指明了改进方向，有助于开发出更加智能和可靠的科研助手工具。

说到底，这项研究告诉我们，AI在科学验证方面还有很长的路要走。虽然最先进的AI模型已经展现出了一定的能力，但距离人类专家的水平仍有明显差距。这种差距不仅体现在准确率上，更体现在深度理解和复杂推理能力上。不过，这也意味着巨大的发展空间和机遇。随着技术的不断进步，我们有理由相信，未来的AI将能够更好地协助人类进行科学研究，让知识的验证和传播变得更加高效和准确。对于关心科技发展的普通读者来说，这项研究提醒我们既要对AI技术保持合理期待，也要认识到人类智慧在科学探索中的不可替代性。

Q&A

Q1：SCIVER是什么？它主要用来做什么？ A：SCIVER是耶鲁大学开发的AI评估工具，专门测试人工智能是否能像人类专家一样验证科学论文中的声明。它包含3000个专家标注的例子，涵盖四种不同难度的推理任务，用来全面评估AI在处理科学文献时的理解和推理能力。

Q2：目前最先进的AI在科学验证方面表现如何？ A：即使是最优秀的AI模型，在复杂的科学验证任务上仍然远不如人类专家。比如GPT-4.1在最难的分析推理任务上只能达到70.8%的准确率，而人类专家能达到90%。AI主要在找不到关键信息、误读图表和逻辑推理链条断裂等方面存在问题。

Q3：这项研究对普通人有什么意义？ A：这项研究揭示了AI在需要深度理解和专业判断的领域仍有局限性，提醒我们在科学研究等严谨领域，人类专家的价值依然不可替代。同时，它为未来开发更好的科研助手工具提供了方向，最终可能让知识验证变得更高效。