如何让AI更好地理解和处理复杂交错的语境？Adobe研究团队的CORG框架解析

在现实世界的信息检索和处理中，我们经常会遇到这样的情况：同一个知识点在不同文档中反复出现，但表达方式、细节甚至事实本身可能存在不一致。想象一下，当你搜索"《辛普森一家》有多少集"时，可能会得到各种不同的答案：有人说第二季有22集，有人说有18集，还有人只笔漫说《辛普森一家》总共有20集而没有指明是哪一季。这些信息之间相互交错，有的互相矛盾，有的模糊不清，让人难以判断哪个是正确的。

这正是KAIST人工智能学院的Hyunji Lee及Adobe研究团队（包括Franck Dernoncourt、Trung Bui和Seunghyun Yoon）在2025年4月发表的研究论文《CORG: Generating Answers from Complex, Interrelated Contexts》（译为：CORG：从复杂交错的语境中生成答案）所要解决的问题。这篇发表于arXiv（arXiv:2505.00023v1）的论文提出了一个名为"语境组织器"（Context Organizer，简称CORG）的框架，旨在帮助大型语言模型更好地处理这类复杂、相互关联的信息源。

一、现实世界中的复杂信息交错问题

想象你是一名历史爱好者，想了解"2019年世界冰球锦标赛的主办国是哪里"。你可能会在网上搜索并找到以下几种说法：

"2019年国际冰球联合会(IIHF)世界冰球锦标赛在斯洛伐克举行"
"2019年世界冰球锦标赛在法国和匈牙利两国举行"
"2019年世界冰球锦标赛由加拿大和不列颠哥伦比亚省联合举办"
"2019年青少年世界冰球锦标赛在加拿大举行"

面对这些信息，你会感到困惑：到底哪个是正确的？它们之间的关系是什么？有些信息可能指的是不同的赛事（成人赛vs青少年赛），有些可能是错误信息，还有些可能只是信息不完整。

Adobe研究团队将这些复杂的信息关系分为四类：

分散性关系（Distracting）：信息涉及相同的表面名称但描述不同实体。例如，"2019年IIHF世界冰球锦标赛"和"2019年青少年世界冰球锦标赛"，它们都包含"2019年世界冰球锦标赛"，但实际上是不同的赛事。

模糊性关系（Ambiguous）：信息包含相同的表面名称，但只有一个提供了具体描述。例如，一个提到"2019年IIHF世界冰球锦标赛在斯洛伐克举行"，而另一个只说"2019年世界冰球锦标赛在斯洛伐克举行"（没有指明是IIHF的）。

事实冲突关系（Counterfactual）：信息描述相同的实体但给出不同的答案。比如一个说"2019年IIHF世界冰球锦标赛在斯洛伐克举行"，另一个却说"2019年IIHF世界冰球锦标赛在加拿大举行"。

重复性关系（Duplicated）：多个信息源提供了关于同一实体的相同答案，本质上是重复信息。

研究团队发现，在真实的网络搜索结果中，这四种关系的比例大约是：25.2%模糊性、34.7%重复性、12.4%事实冲突性和27.7%分散性。这说明在现实世界中，这些复杂关系普遍存在，而不是孤立的现象。

二、现有大语言模型面临的挑战

研究团队发现，当前的大语言模型在处理这些复杂关系时表现不佳。他们针对每种关系类型进行了测试，发现：

当模型面对带有分散性关系的文本时，会出现轻微的性能下降，因为当实体有不同描述符时，模型相对容易区分它们。

而当引入模糊性关系或事实冲突关系时，模型性能会急剧下降。这些关系往往导致模型只生成部分可能的答案，而不是提供全面的回应。

重复性关系对模型性能影响较小，但会导致输入文本变长，可能间接影响处理效率。

研究者们尝试了几种简单的解决方案：

对于分散性关系，将问题改为复数形式（例如从"主办国是哪个？"变为"主办国有哪些？"）显著提高了性能。

对于模糊性关系，添加或替换缺失的描述符创建分散性关系可以提高清晰度。

对于事实冲突关系，将冲突的上下文分开处理效果最好。

但研究团队发现，没有一种简单的方法可以同时解决所有这些关系问题。虽然针对单个因素存在简单的解决方案，但它们往往难以推广到多种关系共存的场景。

三、CORG框架：组织复杂信息的新方法

针对上述挑战，Adobe研究团队提出了CONTEXT ORGANIZER（CORG）框架。这个框架就像一个信息管理员，帮助模型更好地组织和理解复杂的相互关联的信息。CORG由三个核心组件组成：

1. 图构造器（Graph Constructor）

想象你是一名侦探，面对大量的证词和线索。你的第一步是什么？你会把这些信息整理成一张关系图，看看哪些信息之间有联系，哪些可能有冲突。

CORG的图构造器正是这样工作的。它分析每段文本，识别出表面名称（如"世界冰球锦标赛"）、描述符（如"IIHF"或"青少年"）和答案（如"斯洛伐克"或"加拿大"）。然后，它构建一个图，其中每个节点代表一段文本，边表示文本之间的关系类型（分散性、模糊性、事实冲突或重复性）。

这个过程使用了一种迭代方法，以减少重复检查。例如，如果确定文本1和文本2有事实冲突关系，那么它们与其他文本的关系可能会相似，这样就可以节省计算资源。

2. 重排器（Reranker）

有了关系图后，重排器会根据之前发现的针对各类关系的最佳处理方法，对文本进行组织和筛选：

对于具有分散性关系的文本，如果有带描述符的版本，就移除没有描述符的版本。
对于重复性文本，随机选择一个保留，删除其余重复项。
对于事实冲突的文本，将它们分到不同组中单独处理。
剩余文本均匀分布到各组中。
当一个组包含多个文本时，将问题改为复数形式。

这种系统性的分组方法根据不同关系类型进行处理，提高了回答的准确性和一致性。

3. 聚合器（Aggregator）

最后，聚合器按顺序处理每个组，生成回应并附上引用源。这使用户能够评估每个回应的来源，并对提供的信息做出明智的判断。

想象一下，最终的回答可能是： "《辛普森一家》的集数因季度而异。第二季有18集[来源1]或22集[来源2]。第五季有20集[来源3,4,5]。"

这样的回答不仅提供了所有可能的答案，还指明了信息来源，让用户可以自行判断信息的可靠性。

四、实验结果与分析

研究团队在八种不同规模的语言模型上测试了CORG框架，包括Llama2、Mistral、ChatGPT和最新的Llama3和GPT-4o。他们将CORG与六种基线方法进行比较：

基础方法（Base）：一次性输入所有相关上下文。
检索法（Retrieve）：根据相关性和答案多样性对上下文进行排名。
摘要法（Summarize）：通过摘要上下文来提高效率和性能。
随机分组法（Random）：随机将上下文分组。
K均值分组法（KMeans）：使用BERT嵌入对上下文进行聚类。
分离处理法（Separate）：单独处理每个上下文。

结果显示，CORG在AmbigDocs+和ConflictQA+数据集上的表现一致优于六种基线方法。它在使用分组推理的方法中表现最佳，与单独处理每个上下文的Separate方法相当，但计算成本显著降低。

具体来说，CORG在实体识别方面表现尤为突出，能够有效地识别和区分不同实体。即使是大型模型在没有CORG处理的情况下也显示出较低的实体区分性能。

研究还发现，简单地将相似上下文分组而不进行结构化处理（如CORG所做的）反而会降低性能：只包含相似上下文的组似乎比简单地将多样化上下文连接在一起更容易混淆模型。

特别值得注意的是，相比于其他方法，CORG在效率和性能之间取得了最佳平衡。通过过滤和分组上下文，避免处理所有内容，并产生更简短的回应，CORG在计算资源消耗上显著优于其他方法。

五、CORG的实际应用与意义

CORG框架的意义不仅仅在于学术研究，它解决了现实世界中信息检索和处理的实际问题：

想象你正在为学校项目研究一个历史事件。你在不同网站上找到了相互矛盾的信息：一个说事件发生在1967年，另一个说是1968年；一个提到涉及三个国家，另一个只提到两个。使用CORG处理这些信息，你可以得到一个全面的回答，列出所有可能的信息版本和它们的来源，帮助你做出更明智的判断。

对于新闻媒体和信息平台，CORG可以帮助整理和呈现关于同一主题的不同报道和观点，提供更全面、透明的信息呈现方式。

在医疗领域，CORG可以帮助处理来自不同研究或医学文献的可能存在冲突的治疗建议，提供多角度的信息供医生参考。

对于教育工作者，CORG可以帮助整理和呈现不同教材或资源中对同一概念的不同解释，促进更全面的学习。

六、结论与未来展望

Adobe研究团队的CORG框架为处理现实世界中复杂、相互关联的上下文信息提供了一种简单而有效的方法。该框架通过三个组件——图构造器、重排器和聚合器，实现了高答案召回率、准确的实体区分和最小的推理运行次数。

对于包含多个答案的情况，CORG生成包含所有相关答案及其引用的回应，让用户能够审查和筛选信息。实验结果表明，CORG在各种模型上的表现一致优于基线方法，特别是在实体召回方面表现出色。

研究团队希望他们对这些现实世界语料库场景的分析能够鼓励社区更深入地探索每个因素的独特影响和解决方案。

这项研究为我们处理日益复杂的信息环境提供了新的视角和工具。在一个信息爆炸但真相常常模糊不清的时代，像CORG这样的框架可能是我们理清信息迷雾、做出更明智决策的重要助手。

对于想要深入了解CORG框架的读者，可以通过arXiv平台（arXiv:2505.00023v1）访问原论文，了解更多技术细节和实验结果。