企业里那些没人写下来的关系，AI 到底能不能猜出来

你有没有遇到过这种情况：新入职一家公司，想搞清楚"这个项目到底归谁管"，翻遍了周报、工单、会议纪要,愣是找不到一句话直接告诉你答案。你只能拼凑,这个人在某个模块提交过代码,这个模块属于某个项目,所以这个人大概率参与了这个项目。没有任何文档写着"张三负责X项目",但公司里每个老员工都心知肚明。

这种"没写下来但大家都懂"的组织关系，恰恰是企业问答系统最容易翻车的地方。

2026年，来自ScitiX.ai的研究团队发布了一个叫做ENTLORE的基准测试，专门用来戳穿这个问题：市面上那些看起来很厉害的企业问答系统,给它一堆内部文档,再给它一个足够聪明的大模型,它到底能不能回答那些"事实分散在各处、但没有一份文档直接说出答案"的问题。

结果挺打脸的。即便把标准答案对应的所有文档都喂给系统,在这类问题上仍然有超过三成答不对。这个数字,和那些"文档里明明白白写着答案"的问题相比,差了将近五倍。

现有的基准测试,可能一直在考错题

先说说这个领域原来是怎么做测试题的。

**企业问答（Enterprise QA）**：给系统一个问题，让它从公司内部文档里找答案并生成回复的任务，是很多智能客服、知识助手背后的核心能力。

过去几年,学术界为了评测这类系统,做了不少很扎实的工作。比如TechQA用真实的技术支持问题配上企业语料库，WixQA把用户真实提问和专家撰写的多篇知识库文章对齐，EnterpriseRAG-Bench干脆合成了一整套"公司内部资料"来做测试。这些基准把证据分布得很真实,横跨多个文档、多种来源,读起来一点都不像凑出来的。

但这里有个几乎所有人都没注意到的漏洞。

这些基准通常是"照着答案去编题目"的：先确定好一个推理路径,比如"张三 → 参与备忘录评估工作流 → 属于Simate项目"，然后专门写几份文档,把这条路径上的每一步都明明白白地说出来，最后把这些文档打包发布。系统要做的，其实是把这几份写好的文档找出来，再把里面写明白的句子拼一拼。

这就好比考试前老师把每道大题的解题步骤拆成几张小卡片，分别贴在教室的不同角落，让学生去找、去拼。学生确实要花力气去找，但找到之后，答案就摆在那里，不需要学生自己去"想出"任何没写过的东西。如果不是这样出题，而是让学生凭着零散的线索,自己判断出教室角落根本没贴出来的那张卡片上写着什么，难度完全是另一回事。

企业里真实存在的信息需求，往往就是后一种情况。ENTLORE团队把这种能力起了个名字，叫做

**潜在组织推理（latent organizational reasoning）**：从散落在多份文档中的间接线索出发,推导出一个从未被任何文档直接陈述过的组织关系,比如某人到底该为哪个项目负责。

这不是文字游戏，是两种完全不同的能力测试。前者测的是"你能不能找到并读懂已经写好的内容"，后者测的是"你能不能像一个真正懂公司业务的人一样，在没人明说的情况下推断出组织内部的隐藏结构"。

造一个"审计过的假公司"

问题来了：怎么造出这种"答案压根不在文档里"的题目，还能保证答案是唯一、完整、经得起推敲的？

这里ENTLORE团队做了一个挺聪明的设计。他们没有从题目出发去凑文档,而是反过来，先重建一个完整的、真实的企业世界，再从这个世界里"审计"出哪些问题是可以问的、答案应该是什么。

具体流程是这样的。研究团队拿到了真实的企业原始材料，包括常规工作文档、权威的组织架构表格、以及运营记录这三类来源，把里面涉及的人、项目、模块、系统、客户等实体和关系，全部重建成一张图，叫做原始图（raw graph）。这张图里的每一条边都标注着它是从哪份文档、哪张表格里来的。

**原始图（Graw）**：用真实姓名和真实关系重建出的企业内部关系网络,记录着谁参与了什么、什么模块归属哪个项目,以及这些信息各自的出处。

但光有"谁做了什么"、"什么模块属于什么项目"这些零散事实还不够，因为组织内部有一套约定俗成的推理规则,比如"如果你在某个模块干活,而这个模块属于某个项目,那么你就该被算作这个项目的贡献者"。这类规则不是写在任何文档里的,而是企业运作的隐性常识。研究团队把这些规则整理成一套版本化的组织惯例库,经过人工审核确认后,用来在原始图上生成新的、被认证过的推导关系,最终形成一张更完整的真相图。

**真相图（Gtruth）**：在原始图基础上,叠加了经过人工审核认证的组织推导规则后形成的完整关系网络,每一条推导出来的边都记录着它依据哪条规则、依赖哪些前提、由谁签字确认。

这一步很关键，因为它把"确实发生过的事"和"通过合理规则推出来的事"严格分开，而且每一条推出来的关系都留了痕，谁审的、依据什么规则、缺了什么就推不出来，全部可追溯。

这就像一个海关审查系统。原始图是货物本身的进出记录，真相图则是加上了完税凭证之后的记录：不是随便一件东西过了关就叫合法，必须有清楚的规则依据和签字盖章，才能被计入"确认无误"的清单。如果没有这道审查手续，随便什么看起来沾边的关联都可能被当成事实，答案就会变得不可靠、甚至自相矛盾。

有了这张私有的真相图之后，研究团队做了一件很反常规的事：把这个世界"投影"成一份公开发布的文档语料库，但故意只暴露文档本身，把背后的真相图、推理规则、目标关系全部藏起来。

**匿名化投影（φ）**：用统一的映射规则把企业世界里的真实姓名、项目代号进行一致性替换，同时把日期整体偏移，让发布出去的文档保留原有的行文风格、信息密度和"该省略的地方依然省略"的自然缺失，但不泄露任何私有身份信息。

这个设计的巧妙之处在于，公开发布的文档不是专门为了配合某道题目而写的，它就是把真实公司的工作痕迹原样保留下来（只是换了马甲），这样一来，文档里那些"写得不够完整"、"提都没提"的地方，恰恰是企业真实文档的常态，而不是研究者为了设计题目故意留的坑。

在这套体系上，研究团队定义了三个难度层级来区分能力：

第一层叫做**L1，明说式查找（stated lookup）**：答案就写在某一份发布出去的文档里，直接找就行。

第二层是**L2，跨源拼接（stated composition）**：答案需要把散落在多份文档里、各自都明说了的事实拼在一起才能得出。

第三层是**L3，潜在组织推理**：目标关系在所有发布出去的文档里都没有被直接陈述过，只存在于那张私藏的真相图里，必须靠系统自己从文档里那些零散的、间接的线索去推导出来。

举个具体例子会更清楚。假设一份周报提到某位工程师参与了"MoE评估"这项工作，另一份完全不相关的文档提到"MoE"这个模块隶属于"Beloia"项目。没有任何一份发布出去的文档直接写"这位工程师为Beloia项目工作"，这个结论只能靠"模块归属可以传递到项目层面"这条组织惯例推出来。这就是典型的L3问题。

每一道题目在发布之前，都要经过一整套自动化加人工审核的关卡。系统会检查这道题的每一个推理前提是不是真的能在发布出去的文档里找到出处、答案是不是唯一确定的、如果答案是一个集合的话这个集合是不是完整的、以及最关键的一点，对L3类问题，系统会全库扫描一遍，确认目标关系真的没有在任何一个匿名化别名下被直接写出来过。凡是必须依赖那些没有公开的私有资料才能回答的问题，会被单独归类为"验证过的弃权项"，而不会被当作可回答的题目发布出去。

造出了一个多大的题库

最终，ENTLORE这个基准包含了2341份文档，来自三类企业信源，配套907道问题，覆盖了刚才说的L1、L2、L3三个层级，其中L1有469题，L2有204题，L3有234题。背后的组织关系图谱有1153个实体、3784条带类型的关系。

研究团队用这套题库，测试了8个主流大模型（包括GPT-5.4、Claude-Sonnet-4.6、Qwen3.5、GLM-5.2、Kimi-K2.6、DeepSeek-V4系列），搭配7种不同的知识访问方式，一共构成了56种组合去跑分。

这7种访问方式里,除了"完全不给任何资料，靠模型自己瞎猜"的闭卷基线之外，主要有五种真正可以部署使用的方案，外加一种理想化的参照标准。

**BM25**：一种基于关键词匹配的传统检索方法，根据问题里的词和文档里的词重合程度来排序打分，排名靠前的文档一次性打包喂给模型回答。

**Flat RAG（平铺式检索增强生成）**：把文档转换成向量，建一个语义检索索引，同样是一次性检索、一次性回答，不做反复查找。

**Agentic（智能体检索）**：跟Flat RAG共用同一套向量索引和检索器，但允许模型像一个真正做调查的人一样，反复调用搜索和读取文档的工具，最多循环30次，直到它觉得可以给出答案为止。

**LLM-Wiki（大模型编译的知识维基）**：把整个文档库离线编译成一个可以像浏览维基百科一样点击跳转的知识库，网页内容原样保留发布出去的文档，只是加上了自动生成的分类标签和目录导航。

**GraphRAG（图结构检索增强）**：离线从文档库里自动抽取出一张实体关系图，外加社区摘要，作为回答问题时的知识结构。

外加一个不算真正可部署方案、但用来做参照的**Ω（黄金文档智能体参照）**，直接把标准答案所需要的那几份文档路径告诉模型，让它通过同样的工具循环去读，但依然不会直接告诉它答案本身是什么。

这五种方案的设计思路其实是层层递进的对照实验。BM25和Flat RAG共享同一批文档,一个用关键词匹配、一个用语义向量,可以单独看出"匹配方式"的差异。Flat RAG和Agentic共享同一套检索后端,差别只在于要不要反复查找,可以单独看出"多轮交互"有没有用。Agentic和LLM-Wiki又共用同一套智能体框架，差别在于知识组织形式，可以看出"离线预先整理好知识结构"有没有用。

这种层层剥离变量的做法，有点像做菜时候的对照实验：同样的食材、同样的火候，只换一种调料，才能看出这瓶调料到底起了什么作用。如果一次性把所有条件都换了，最后炒出来味道不一样，你根本不知道是哪个变量在起作用。

明说的题目，机器答得都还不错

先看L1和L2这两类"答案就写在文档里"的题目表现。

在L1上，GraphRAG、BM25、LLM-Wiki三种方案平均分数分别是63.2%、62.4%、61.7%，表现相当接近。到了L2，LLM-Wiki和BM25领先，分别是52.5%和51.4%。而Flat RAG和Agentic智能体检索，无论在L1还是L2，都明显落后于这三家。

综合三个层级来看，BM25、GraphRAG、LLM-Wiki这三种方案构成了第一梯队，问题加权平均准确率分别是52.6%、52.2%、50.9%，而Agentic检索只有36.5%，Flat RAG只有36.0%。差距相当明显。

闭卷基线（也就是完全不给资料）的准确率是0.6%、0.0%、7.9%，几乎全军覆没。这个结果其实很重要，因为它说明所有这些方案的得分，靠的都是真的去读了文档，而不是模型自己脑子里记的东西在滥竽充数。

不过有一点值得留意，这个排名并不是所有模型都一致的。比如Kimi-K2.6这个模型，在所有三个层级上都是配合BM25表现最好，这说明具体哪种知识访问方式最合适，跟你用的是哪个大模型也有关系，没有放之四海皆准的最优解。

答案没写在文档里的时候，排名彻底翻盘

这是整篇论文最有意思的部分。

在L3上，也就是答案压根不在任何文档里、需要系统自己推导的题目上，平均下来GraphRAG拿到最高分36.2%，其次是BM25的34.0%，LLM-Wiki掉到27.7%，Flat RAG只有18.9%，Agentic智能体检索最低，只有13.5%。

这个数字本身已经说明问题了：即便是表现最好的GraphRAG，在这类问题上也只能答对三分之一多一点。

但更值得琢磨的是,GraphRAG领先BM25的优势其实很有限,而且高度依赖具体是哪个模型在用。在8个测试模型里，GraphRAG在5个模型上表现更好，但BM25在另外3个模型上反而更强。换句话说，"结构化的知识图谱一定比关键词检索更聪明"这个直觉，在这里并不总是成立。

研究团队进一步把L3问题按照不同的"关系类型"拆开看，发现差异极不均匀。

在**部门归属类关系**上，差距大得惊人：GraphRAG拿到53%，BM25只有2%，而这类题目如果直接把黄金文档喂给系统（也就是前面说的Ω参照标准），可以拿到84%。这说明知识图谱结构，在需要跨越多层组织架构才能推断出的关系上，确实能帮上大忙。

但在**归属传递类关系**和**层级汇总类关系**上，情况完全不同。所有方案的得分都不超过34%，即便是理想化的Ω参照，也只能拿到66%和59%。这说明有些类型的隐性关系，无论用什么访问方式，都相当难以捉摸,这不是知识组织方式的问题,这是这类问题本身在难度上更接近天花板。

研究团队还做了一个很有意思的二次分析。他们把234道L3题目、乘以8个测试模型，一共1872个"模型-题目"组合，按照"BM25或者Flat RAG这两个单轮检索方案，有没有成功把标准答案需要的全部文档都找齐"这个标准分成了两组。

在能够把文档凑齐的那一组（占30%），BM25反而表现最好，拿到54.9%，比GraphRAG的48.5%和LLM-Wiki的43.3%都要高。但在文档凑不齐的那一组（占70%），排名彻底反转，GraphRAG以31.0%领先，BM25降到25.1%，LLM-Wiki是21.1%。

这个发现挺关键的：GraphRAG的优势，主要体现在那些"靠关键词根本找不到相关文档"的困难场景里，因为知识图谱不依赖表面的字词匹配，而是靠预先建立的实体关系去导航。而在文档相对容易找到的场景里，扎实的关键词匹配反而更直接、更准。

这就好比在城市里找路。如果你要去的地方就在主干道边上，招牌清清楚楚，用最简单的地图App一搜就能到，反而不需要复杂的路径规划。但如果目的地藏在几条巷子拐弯之后，普通地图找不到明确的入口，你就需要一个能理解城市结构、知道"这条巷子通向哪个片区"的系统，才能绕过去。如果没有这种结构化的理解，遇到藏得深的地方就只能干瞪眼。

还有一个反直觉的发现。按理说，允许模型反复查找、多轮迭代的Agentic智能体检索，应该比一次性检索的Flat RAG更强才对，毕竟它有机会"回头再看看"。但实测结果是，在共用同一套检索后端的前提下，Agentic整体上反而比Flat RAG更差（13.5%对18.9%），即便在文档难找的那个困难子集里，也是Agentic更差（8.8%对12.9%）。

这说明在这套具体的向量检索后端配置下，允许模型自己反复折腾并没有带来更好的结果，反而可能因为多轮交互引入了更多噪音或者偏离。但把标准答案文档路径直接喂给同一套智能体循环（也就是Ω参照）之后，分数一下子跳到69.6%，说明这套循环机制本身是有能力用好证据的，问题出在"自己去找证据"这一步找得不够准。

论文里还提到一个挺有意思的侧面证据：在GraphRAG答错L3题目的案例里，只有6%的回答会明确说"我在文档里找不到这个信息"，而BM25在答错的案例里，有53%会主动承认找不到。这个差异说明，不同的系统在"该不该老实说不知道"这件事上的行为习惯是不一样的，这本身也是评估系统靠不靠谱的一个维度。

把黄金文档喂给它，也还是有三成答不对

这是整篇论文里最扎心的一组数据。

研究团队把L1、L2、L3这三类题目对应的标准答案文档，直接喂给智能体系统（也就是前面提到的Ω参照），彻底排除"文档没找到"这个因素的干扰，只看"文档都摆在眼前了，模型能不能读懂并推出正确答案"。

结果是：L1还剩12.6%答不对，L2还剩6.2%答不对，而L3依然有30.4%答不对。

L3的这个残留错误率，是L2的将近5倍。而且这个数字占到了"表现最好的可部署方案"总错误量的将近一半（47.7%）。

需要澄清一点，这个30.4%并不是一个纯粹的"推理能力失败率"，因为即便文档已经摆在眼前，模型依然可能因为导航、理解指令、答案表述等其他因素答错。研究团队为此专门检查了错误案例的成因，发现在L3答错的案例里，大约有19.5%是因为模型严格遵守了"只根据看到的内容回答、不要断言文档里没写的事实"这条指令，主动放弃了推理,因为按照字面意思，既然文档里没有直接写这个关系，那就不该说出来。而这恰恰和L3任务的本质发生了冲突,L3的答案按设计就是不会被任何文档直接陈述的，必须靠推导才能得出。

这就好比你让一个诚实到近乎刻板的助理去帮你判断"这份合同里有没有暗示什么风险"，助理如果被反复叮嘱"只能引用合同里写明的条款，不能自己推测言外之意"，那么面对那些需要读出弦外之音才能发现的风险，他大概率会两手一摊，说"合同里没写这个"，即便他心里其实能拼凑出这个结论。如果不给这条严格指令，他可能会乱猜一通，编造出合同里根本不存在的东西；但给了这条指令，遇到真正需要推理的场合，他又变得过度保守。这个矛盾本身，恰恰揭示了"如实汇报"和"主动推理"这两种能力之间存在着真实的张力，不是随便调一下提示词就能两全的。

论文里还举了一个更极端的例子。有8道题目问的是"某个通过隐性关系推导出来的团队,人数总共是多少",这是一种需要先推导出成员名单、再做计数的题目。结果是，所有8个测试模型，在所有条件下，全部得零分，即便把黄金文档喂给它们也几乎全军覆没（64次尝试里只对了1次）。仔细看模型的实际回答会发现，它们其实把该找的人一个一个都列出来了，但就是不肯给出一个总数,因为没有任何一份文档白纸黑字写着"总共有几人"。这不是算术能力的问题，是"要不要自己下结论"这个心理关卡没过去。

换个语言、换个名字，排名还稳不稳

这里研究团队做了一件很讲究的事：既然发布出去的语料是从原始的、真实姓名的私有材料里匿名化转写出来的（原始材料是中文，发布语料是经过匿名化和翻译的英文），那这套评测排名，会不会只是因为"换了个说法"就整个变了样？

他们挑出了176道可以干净地"逆向还原"回原始版本的题目（另外82道因为化名结构太复杂，还原后会有残留痕迹，被排除在外），用同一个模型分别跑了发布版本和原始私有版本，对比排名有没有变化。

大方向上是稳的：三种理想化的Ω参照方案，无论在哪个版本，始终占据排名前三，可部署方案则始终排在它们下面，两个版本之间的平均绝对差异是0.125。

但细节排名就不那么稳了。用统计学的秩相关系数衡量，八种配置之间的相关系数是0.71，没有达到统计显著水平（置换检验p值0.06）。

差异主要集中在BM25（下降0.28）和GraphRAG（下降0.19）身上，而Flat RAG和Agentic几乎没什么变化。研究团队推测，这很可能和中文分词方式、匿名化后标识符的重新组织方式有关系,并不是发布的语料"泄露"了更多语义信息，而是关键词检索这种方式，对文字表面形式特别敏感。同样一个事实，换一种语言、换一套代号来表达，字面上的重合度可能发生很大变化，即便背后的组织关系完全没变。

这个发现提醒我们一件事：像BM25这种依赖字面匹配的方法，看起来简单朴素、跑分也不差，但它的稳定性其实建立在语料表达方式高度一致的前提上。一旦语言、命名规则发生变化，它的表现可能会有明显波动，这是使用这类方法时容易被忽略的脆弱点。

写在后面

读完这篇论文，最触动我的其实是那8道"团队人数"计数题全部挂零这个细节。

这暴露了一个平时不太会注意到的问题：我们总以为大模型"推理能力不够"是它答错题的主要原因,但ENTLORE的分析说明，很多时候答错不是因为推不出来，而是因为它被训练得太谨慎，宁可放弃一个能拼凑出来的结论，也不愿意说一句文档里没写过的话。这是一种被过度纠正的诚实,而这种诚实，在企业场景里恰恰是最需要打破的那道墙,因为企业里真正有价值的问题，往往就是那些没人写下来、但每个老员工心里都有数的事情。

另一个让我意外的地方是，行业里普遍默认"知识图谱结构化检索"应该全面碾压"关键词检索"这种朴素方法，但实测下来GraphRAG的优势其实相当局部,只在文档很难被检索到、以及特定几类组织关系（比如部门归属）上明显领先，其他大部分场景里BM25完全能打平甚至反超。这提醒我们，评估一个检索增强系统好不好，不能只看一个平均分，得拆开看它到底在哪类问题上强、在哪类问题上弱。

这篇论文留下的一个问题，我自己还没想明白：如果一个系统真的能把这30.4%的潜在关系都推理出来，它离"真正理解一个组织"还有多远，还是说，组织关系里总有一部分永远只存在于人的默契里，任何形式化的图谱都注定捕捉不到？

Q&A

Q1：ENTLORE是什么？

A：ENTLORE是ScitiX.ai团队发布的一个企业问答基准测试，专门用来评估AI系统能不能推理出那些没有在任何文档里直接写出来、但确实存在于企业组织架构中的隐藏关系，而不只是考它能不能找到并拼接文档里已经明说的内容。

Q2：为什么给AI系统喂了标准答案对应的文档，它还是答不对？

A：因为有些答案压根不是文档里写出来的事实，而是需要通过组织惯例推导出来的隐性关系。实测显示，即便提供了黄金文档，这类"潜在组织推理"题目依然有30.4%答不对，其中约五分之一是因为模型被指令要求"只根据文档内容回答"，导致它宁可放弃推理也不愿说出文档没写的话。

Q3：知识图谱（GraphRAG）是不是比关键词检索（BM25）更适合企业问答？

A：不一定。整体平均下来GraphRAG在难以推导的关系上确实更强，但在很多场景里BM25表现相当，甚至在文档容易检索到的情况下反而更好，具体用哪种方式最合适，还跟搭配的大模型有关系。