MultiHal：基于知识图谱的多语言LLM幻觉评估数据集——为大模型事实性保驾护航

大型语言模型（LLM）的飞速发展带来了前所未有的应用可能，但同时也伴随着一个关键问题：幻觉。所谓"幻觉"，简单来说就是模型生成的看似可信但实际上不准确或完全虚构的内容。这就像一个口若悬河的朋友，他的故事听起来很精彩，但事后你发现其中有不少情节是他凭空编造的。这个问题对于需要高度准确性的场景（如信息检索、问答系统）尤为严重。

近日，来自丹麦奥尔堡大学和奥地利维也纳工业大学的研究团队联合发布了一项重要研究成果。由Ernests Lavrinovics、Russa Biswas、Katja Hose和Johannes Bjerva组成的团队在2025年5月20日发表了一篇题为《MultiHal: Multilingual Dataset for Knowledge-Graph Grounded Evaluation of LLM Hallucinations》的论文，提出了一个创新的多语言、多跳基准数据集，专门用于评估大型语言模型的幻觉问题。这项研究已发布在arXiv预印本平台（arXiv:2505.14101v1）。

为什么我们需要MultiHal？

想象一下，你在城市中导航时依赖的地图时不时会在不存在的地方标出虚构的道路或建筑。这显然会让你的旅程变得困难重重。同样地，大型语言模型中的幻觉问题也会严重影响它们在实际应用中的可靠性和有用性。虽然目前已有一些评估LLM幻觉的基准数据集，但它们大多集中在英语内容上，并且缺乏结构化的事实性支持。

研究团队指出，现有的评估方法往往依赖网页链接或文本段落作为补充信息，而忽略了已有的结构化事实资源。就像在搜索信息时，你可能会迷失在大量文本中，无法迅速找到关键点。而知识图谱（Knowledge Graph，简称KG）恰好提供了一种结构清晰、信息精确的方式来表示实体及其关系，这种表示方式几乎没有语言冗余。

MultiHal正是为解决这些问题而诞生的。它利用Wikidata知识图谱中的结构化信息，为评估LLM的事实准确性提供了一个多语言的评估框架。这就像为检查员提供了一套精确的度量工具，可以从多个角度和多种语言环境下评估模型输出的准确性。

MultiHal数据集的构建过程

构建MultiHal数据集的过程就像是一位珠宝匠精心挑选和加工宝石的过程。研究团队首先从7个现有的幻觉评估基准数据集中收集了共计31K个独特问题，包括Felm、TruthfulQA、HaluEval、HaluBench、SimpleQA、DefAn和Shroom2024。这些数据集虽然有价值，但都缺乏知识图谱支持和多语言能力。

接下来，研究团队设计了一个完整的数据收集框架，该框架主要包括四个步骤：

首先，研究团队使用Falcon 2.0工具从问题和答案中提取核心语义实体，并将它们映射到Wikidata实体。这就像是一个翻译过程，将自然语言文本中的关键概念转换为知识图谱中的明确实体。

其次，团队查询Wikidata知识图谱，寻找这些实体之间存在的路径，最多允许两跳。想象一下在一张巨大的关系网络中，寻找从A点到B点的最短路径，而且每条路径都代表着可验证的事实关系。通过这一步，团队共挖掘了约140K条知识图谱路径。

第三步是评估和筛选这些路径的质量。团队采用了"LLM作为评判者"的方法，使用GPT-4o Mini模型对每条路径进行1-5分的评分，评估它与问题-答案对的相关性。这就像请一位专家来判断每条信息的价值和相关性。最终，团队筛选出了25.9K条高质量路径（评分为4-5分）。

最后，为了支持多语言评估，团队使用NLLB-200 3.3bn模型将数据集翻译成了五种欧洲语言：西班牙语、法语、意大利语、葡萄牙语和德语。这就像是为同一套工具制作了多种语言版本的说明书，使得它们在不同语言环境下都能派上用场。

MultiHal的核心特点与价值

MultiHal数据集的独特之处在于它将知识图谱路径与多语言支持相结合，为评估LLM的幻觉问题提供了一个更全面的框架。

首先，知识图谱路径提供了明确的事实依据。与传统的文本段落相比，知识图谱路径更加精确和结构化，使得事实验证更加直接。就像在查验信息时，相比于阅读一整篇长文章，直接看到"A与B的关系是C"这样清晰的陈述会更加高效。

其次，多语言支持使得模型的评估不再局限于英语。研究表明，大型语言模型在不同语言中表现出的事实一致性存在差异，通常英语输出最稳定，而在低资源语言中事实质量会下降。MultiHal通过提供多语言数据，使得研究人员可以评估模型在不同语言环境下的表现，这对于构建真正的多语言AI系统至关重要。

第三，知识图谱路径的使用使得模型输出的可解释性和可追溯性大大提高。当模型生成的内容可以直接追溯到明确的事实来源时，用户对系统的信任度也会相应提高。这就像在学术写作中，有明确的引用来源会增加论文的可信度。

基线实验设计与结果

为了验证MultiHal数据集的有效性，研究团队设计了一系列基线实验，主要比较了普通问答（QA）和基于知识图谱的检索增强生成（KG-RAG）两种情况下模型的表现。

在实验设置上，团队采用了一种简单的提示式知识注入方法。在QA设置中，只向模型提供问题；而在KG-RAG设置中，则同时提供知识图谱路径和问题。这就像是在考试中，一种情况下只给出题目，另一种情况下还提供了相关的参考资料。

实验使用了三种不同的模型：Gemini 2.0 Flash、GPT-4o Mini和Llama 3.3 70b instruct。评估指标采用了多语言MiniLM-L12-v2模型计算的语义相似度，即比较模型生成的答案与标准答案之间的语义接近程度。

实验结果令人鼓舞。在所有测试语言和模型中，KG-RAG设置相比普通QA设置都显示出明显的性能提升，语义相似度分数绝对增长约0.12到0.36分。这表明，知识图谱路径确实为模型提供了有价值的事实信息，使其能够生成更加准确的答案。

具体来看，在英语测试中，Gemini 2.0 Flash模型在KG-RAG设置下的语义相似度分数达到0.83，比普通QA设置的0.51高出0.32分。这种提升在其他语言中也同样明显，证明了知识图谱集成的潜力。

更细粒度的分析显示，在不同领域的表现有所差异。例如，在SimpleQA、HaluEval、Defan和Shroom2024等基准数据集上（占据了约95%的数据点），模型表现出一致的改进。这些数据集的共同特点是问题定义明确，通常需要单个实体作为答案，这与知识图谱的结构特性非常匹配。

然而，在某些特定领域，如TruthfulQA中的暗示性问题或HaluBench中的时间相关问题，模型表现则不那么理想。这些问题通常需要逻辑推理或考虑时间变化因素，这超出了简单知识图谱路径的表达能力。

MultiHal的应用前景与局限性

MultiHal数据集为研究人员提供了一个强大的工具，可用于多种与事实性相关的任务，如幻觉检测、事实核查和基于知识图谱的语言建模。它的多语言性质使得这些研究可以扩展到更广泛的语言环境，而不仅限于英语世界。

不过，研究团队也坦率地指出了数据集的一些局限性。首先，MultiHal主要基于多轮问答任务，没有涵盖多轮对话或文本摘要等使用场景。其次，其多语言支持虽然覆盖了五种欧洲语言，但在类型学多样性方面仍然有限，偏向于欧洲中心的语言。再者，评估方法没有采用多提示评估，而这已被证明是LLM评估中的重要组成部分。

未来的工作方向包括扩展MultiHal的下游任务、添加多提示评估和增加更多样化的语言覆盖。研究团队还建议通过将语义相似度评估框架为分类问题，使用自然语言推理或LLM作为评判者，来改进评估方法。

总结与展望

归根结底，MultiHal数据集的创建填补了现有幻觉评估基准在知识图谱路径和多语言支持方面的空白。它为研究人员提供了一个强大的工具，可以更全面地评估大型语言模型的事实准确性，并探索知识图谱集成如何帮助减轻幻觉问题。

这项研究的意义不仅限于学术界。在实际应用中，提高AI系统的事实准确性是构建可信赖系统的关键步骤。随着大型语言模型在各行各业的应用越来越广泛，确保它们能够提供准确、可靠的信息变得愈发重要。

MultiHal数据集的开源性质（代码和数据已在GitHub和Huggingface上公开）使得更多研究人员可以基于此进行进一步的研究和创新。这种开放的研究氛围对于推动AI领域的进步至关重要。

想象一下，未来的AI助手不仅能够流畅地与我们交流，还能够准确地回答我们的问题，无论我们使用哪种语言。MultiHal数据集的出现，让这一愿景更近了一步。

如果你对这项研究感兴趣，可以通过GitHub（https://github.com/ernlavr/multihal）和Huggingface（https://huggingface.co/datasets/ernlavr/multihal）获取完整的代码和数据集。