Meta研究团队推出FACTORY：让最强AI也束手无策的事实核查挑战

这项由Meta公司FAIR实验室的陈明达、李阳、陈西伦、阿迪娜·威廉姆斯、加尔吉·戈什和斯科特·伊赫等研究人员共同完成的突破性研究，于2025年8月4日发表在学术预印本平台arXiv上。有兴趣深入了解技术细节的读者可以通过https://huggingface.co/datasets/facebook/FACTORY访问完整数据集，或通过论文编号arXiv:2508.00109v1查阅原始论文。

当我们在日常生活中遇到复杂问题时，比如"请详细解释一下1977年英国《驱逐保护法》建立的法律框架及其对租户权利的规定"，我们通常会求助于搜索引擎或询问专家。现在的人工智能系统也面临着同样的挑战——它们需要对这类需要详细、准确回答的复杂问题给出令人信服的长篇回应。

然而，就像一个看起来很厉害的学霸在面对真正有挑战性的考试时可能会露馅一样，目前最先进的AI系统在回答复杂事实问题时也经常出现错误。更让人担心的是，现有的测试这些AI系统准确性的"考题"往往太简单了，就像用小学数学题来测试大学生的数学水平一样，根本看不出真正的实力。

Meta的研究团队意识到了这个问题，他们发现现有的AI事实准确性测试基准存在一个致命缺陷：这些测试题大多是机器自动生成的，没有经过人类专家的严格审核。这就像是让机器出考题再让机器答题，结果往往是考题本身就有问题。有些题目根本无法回答，有些题目过于简单，还有些题目甚至包含错误信息。

为了解决这个问题，研究团队开发出了一套名为FACTORY的全新测试系统。这个系统的全称是"开放式长文事实准确性情境真相评估框架"，它包含了超过一万个经过人工严格审核的高难度问题。这些问题就像是为AI系统量身定制的"地狱级考试"，专门用来暴露目前最先进AI系统的知识盲区和推理缺陷。

**一、现有测试的致命缺陷**

当前AI系统的事实准确性测试就像是用过时的体检设备来检查现代人的健康状况。研究团队发现，在现有的测试中，最先进的AI系统能够达到90%以上的准确率，这听起来很不错，但实际情况远非如此。

以往的测试系统存在几个根本性问题。首先是"无法回答"的问题，就像考试中出现了"请介绍一下张三的生平"这样的题目，但张三根本不是什么知名人物，甚至可能是编造出来的名字。AI系统面对这样的问题时，要么拒绝回答，要么胡编乱造，但无论哪种情况都会被算作错误。

其次是"过于简单"的问题。许多现有测试就像是问"国际货币基金组织是做什么的"这样的基础问题。对于配备了检索功能的AI系统来说，这类问题简直是小菜一碟——它们只需要从维基百科上复制一段介绍文字就能完美回答。这样的测试根本无法评估AI系统处理复杂、需要深度推理的问题的能力。

第三个问题是"时间敏感性"。有些测试会问"Linux最新的50个内核版本及其发布时间"这样的问题。这类问题的答案会随着时间变化，今天的正确答案明天就可能过时，这让测试结果变得毫无意义。

更严重的是"主观性问题"。一些测试会问"文明5游戏中最强的国家是什么"这样完全依赖个人观点的问题。不同的玩家对"最强"有不同的理解，这样的问题根本无法客观评估AI的事实准确性。

最让人担忧的是"错误信息"问题。研究团队发现，有些测试题本身就包含历史错误，比如声称美国参与了1494年签署的《托尔德西利亚斯条约》。实际上，美国在1776年才独立，根本不可能参与这个比美国建国早282年的条约。这就像是让学生回答"拿破仑是如何使用手机指挥滑铁卢战役的"一样荒谬。

**二、FACTORY的革命性设计**

面对现有测试系统的种种缺陷，研究团队决定从零开始构建一套全新的测试框架。他们的方法就像是组建一支由机器和人类专家共同组成的"题目制作委员会"，确保每一道题目都经过严格的质量把关。

整个系统的核心创新在于采用了"模型在环"的设计理念。这个概念可以这样理解：传统的出题方式是人类专家坐在桌子前苦思冥想，试图想出能够难倒AI的问题。但这种方法效率低下，而且人类专家很难准确判断什么样的问题对AI来说真正具有挑战性。

FACTORY的方法更像是"知己知彼，百战不殆"。系统首先让AI尝试回答大量的候选问题，然后仔细分析AI在哪些问题上表现不佳。那些让AI"头疼"的问题被筛选出来，作为进一步优化的基础。这个过程就像是先让学霸做一套模拟题，然后专门挑出那些让学霸都答错的题目，用来组成最终的考卷。

具体来说，系统的运作过程可以比作一个精密的选题工厂。首先，研究团队从维基百科的所有条目中提取主题，这些主题涵盖了从科学技术到历史文化的各个领域。接着，他们使用大语言模型基于这些主题生成大量的候选问题。这个阶段产生的问题数量庞大，但质量参差不齐。

然后进入关键的筛选环节。系统让AI模型尝试回答这些候选问题，并使用专业的事实核查工具对答案进行评估。那些AI回答准确率低于60%的问题被保留下来，因为这些问题证明了它们具有足够的难度。这个过程就像是用磁铁从一堆金属碎片中挑出真正的金子。

最后，也是最重要的一步，是人类专家的介入。39名经过专业培训的标注员对筛选出的问题进行逐一审核。他们的任务是确保每个问题都符合五个严格标准：问题必须寻求事实性信息而非主观意见；问题必须表述清晰，不产生歧义；问题必须能够通过公开可信的网络信息回答；问题的答案不能随时间变化；问题不能引导产生不安全的回应。

这个人工审核过程极其严格，每个标注员平均需要花费5分钟来处理一个问题。他们不仅要检查问题本身的质量，还要实际搜索相关信息，确认问题确实可以找到可靠答案。最终，大约20%的候选问题因为各种质量问题被剔除，剩下的10156个问题构成了FACTORY的完整数据集。

**三、问题的挑战性与多样性**

FACTORY中的问题就像是为AI系统量身定制的"终极挑战赛"。这些问题不仅在难度上远超现有测试，在多样性方面也达到了前所未有的广度。

从问题长度来看，FACTORY的问题平均长度达到25.4个单词，远超现有测试的10.5-16.2个单词。这意味着每个问题都包含更丰富的背景信息和更具体的要求。比如，传统测试可能只是问"介绍一下田中正平"，而FACTORY的问题会是"请详细说明田中正平开发的调和乐器的关键设计特征和历史背景，包括其独特的音律体系和对当时音乐理论的贡献"。

这种长度的增加不是为了故意刁难，而是为了测试AI系统处理复杂、多层次信息需求的能力。就像从"做一道菜"升级到"按照传统工艺制作一道需要多种调料和复杂工序的地方名菜"一样，问题的复杂性要求AI系统具备更强的信息整合和逻辑推理能力。

从主题分布来看，FACTORY涵盖了15个主要领域。科学技术类问题占比最高，达到25.1%，这类问题往往涉及前沿研究成果和专业技术细节。医学类问题占13.1%，法律类问题占11.8%，生物与自然类问题占10.9%，历史类问题占10.1%。此外还包括设备器械、政治、文化、体育、音乐、艺术、电视节目、地理和视频游戏等各个方面。

这种多样性确保了测试的全面性。AI系统不能通过专攻某个特定领域来"投机取巧"，而必须在各个知识领域都具备扎实的基础。这就像是一场全能竞赛，参赛者不仅要会数学，还要懂历史、了解科学、熟悉艺术。

为了进一步提高挑战性，研究团队还从完整数据集中筛选出了421个"地狱级"问题，组成了FACTORY Hard子集。这些问题是让当前最先进AI系统都感到"头疼"的超高难度问题，它们的存在确保了即使是最优秀的AI系统也无法在测试中获得过高分数。

**四、六大顶级AI的表现对比**

为了验证FACTORY的挑战性，研究团队选择了当前最先进的六个AI系统进行测试，包括Claude 3.7 Sonnet、Gemini 2.5 Pro、DeepSeek V3、GPT-4o、Qwen3和Llama 4 Maverick。这些系统代表了当前AI技术的最高水平，它们在各种任务上都表现出色。

然而，当这些"AI学霸"遇到FACTORY的挑战时，结果令人震惊。在传统测试LongFact上，所有AI系统的事实准确率都超过了90%，看起来表现相当优异。但在FACTORY上，这些系统的准确率普遍下降到75%左右。而在最具挑战性的FACTORY Hard子集上，即使是最优秀的AI系统也只能达到约60%的准确率。

这个结果意味着什么呢？简单来说，当AI系统面对真正复杂的事实性问题时，它们给出的答案中有约40%包含无法验证或错误的信息。这就像是一个看起来很博学的人，在回答专业问题时有将近一半的回答都站不住脚。

更有趣的是，研究团队发现不同AI系统在不同类型问题上表现出不同的强弱项。有些系统在科学技术问题上表现较好，但在历史文化问题上就显得力不从心。有些系统善于处理事实性描述，但在需要跨领域知识整合的问题上就容易出错。

为了确保测试结果的可靠性，研究团队采用了严格的人工评估方法。25名专业评估员花费大量时间，对AI系统生成的每一个句子进行详细核查。他们不仅要判断信息的准确性，还要考虑信息的完整性和相关性。这个过程就像是让专业法官对每一个回答进行逐字逐句的事实核查。

**五、问题本质的深层探索**

为了理解AI系统在FACTORY上表现不佳的根本原因，研究团队进行了一项极其巧妙的实验。他们将复杂的FACTORY问题拆解成多个简单的"原子问题"，就像是把一道复杂的数学应用题拆分成多个基础计算题。

这个实验的设计思路可以这样理解：假设原始问题是"请详细说明田中正平开发的调和乐器的关键设计特征和历史背景"，那么对应的原子问题就可能是"田中正平是谁？"和"什么是调和乐器？"。如果AI系统真的掌握了回答原始问题所需的所有知识，那么它们在这些基础问题上应该表现完美。

然而实验结果再次出人意料。即使是在这些简化的原子问题上，AI系统的表现仍然不够理想。Claude 3.7 Sonnet在原子问题上的准确率为67.3%，而在原始复杂问题上只有31.2%。GPT-4o在原子问题上达到76.9%，但在复杂问题上掉到了45.2%。

这个发现揭示了一个重要真相：AI系统在FACTORY上表现不佳，既有知识储备不足的原因，也有推理能力欠缺的因素。就像一个学生既不知道基础概念，又不会综合运用知识解决复杂问题。即使掌握了相关的基础知识，AI系统仍然很难将这些知识有机整合起来，形成完整、准确的长篇回答。

这说明当前AI系统面临的挑战是双重的。一方面，它们需要扩展知识覆盖面，特别是那些相对冷门但重要的"长尾知识"。另一方面，它们需要提升跨领域知识整合和复杂推理的能力。这就像是既要增加词汇量，又要提高写作能力。

**六、对AI发展的深远启示**

FACTORY的出现不仅是一个新的测试工具，更像是给整个AI行业敲响的警钟。它告诉我们，尽管当前的AI系统在很多任务上表现出色，但在处理复杂事实性问题方面仍有很大提升空间。

从技术发展的角度来看，FACTORY指出了未来AI研究的几个重要方向。首先是知识覆盖的完整性问题。当前的AI系统往往在热门话题上表现很好，但在专业性强、相对冷门的领域就显得力不从心。这就像是一个只读过畅销书的人，在面对专业文献时就会感到吃力。

其次是推理能力的深度问题。即使AI系统掌握了相关的基础知识，它们在将这些知识有机整合、形成完整论述方面仍然存在不足。这说明单纯增加训练数据可能不够，还需要在模型架构和训练方法上进行创新，让AI系统具备更强的逻辑推理和知识整合能力。

第三是评估方法的科学性问题。FACTORY的成功说明，建立科学、严格的评估标准对于推动AI技术进步具有重要意义。只有通过人类专家参与的严格测试，我们才能真正了解AI系统的实际能力水平，避免被虚假的高分数所迷惑。

从应用前景来看，FACTORY为各个领域的AI应用提供了重要参考。在教育领域，它提醒我们在使用AI系统进行知识传授时需要格外谨慎，特别是涉及专业性强的内容时。在新闻传媒领域，它强调了AI生成内容需要经过严格事实核查的重要性。在科研领域，它为评估AI辅助研究工具的可靠性提供了科学标准。

更重要的是，FACTORY的研究方法为其他领域的AI评估提供了可借鉴的范例。它展示了如何通过人机结合的方式构建高质量测试集，如何设计科学的评估标准，以及如何进行深入的结果分析。这种方法论的价值可能比具体的测试结果更加深远。

说到底，FACTORY就像是给AI系统安排了一场"真正的考试"。它不是为了故意刁难或贬低AI技术，而是为了更好地了解当前技术的真实水平，找出改进的方向。正如研究团队在论文中所说，只有通过这样严格的测试，我们才能推动AI技术向更高水平发展，最终造福人类社会。

这项研究提醒我们，AI技术的发展道路还很漫长，我们需要保持谦逊和严谨的态度。同时，它也为我们指明了前进的方向：不仅要追求AI系统在简单任务上的高准确率，更要关注它们处理复杂、专业问题的能力。只有这样，AI技术才能真正成为人类智慧的有力补充，而不是华而不实的炫技工具。对于普通用户来说，这项研究也提醒我们在使用AI系统时要保持批判性思维，特别是在涉及专业知识或复杂问题时，最好通过多个渠道验证信息的准确性。

Q&A

Q1：FACTORY是什么？它和普通的AI测试有什么不同？

A：FACTORY是Meta研究团队开发的AI事实准确性测试系统，包含超过1万个经过人工严格审核的高难度问题。与普通测试不同，FACTORY的问题都经过人类专家逐一检查，确保问题有意义、可回答且具有挑战性，而不是机器自动生成的简单问题。

Q2：为什么最强的AI系统在FACTORY上表现这么差？

A：主要有两个原因：一是知识盲区，AI系统缺乏处理专业性强、相对冷门领域问题所需的深度知识；二是推理能力不足，即使掌握基础知识，AI系统也很难将多个知识点有机整合成完整准确的长篇回答。FACTORY的问题需要跨领域知识综合运用。

Q3：FACTORY测试结果对普通用户使用AI有什么启示？

A：这提醒我们在使用AI系统时要保持谨慎，特别是涉及专业知识或复杂问题时。AI给出的答案可能有约40%包含错误或无法验证的信息，所以最好通过多个渠道核实信息准确性，不要完全依赖AI的回答。