利用大语言模型探索科学创新前沿：南洋理工大学团队开发检测学术新颖性的突破性方法

近日，一项由南洋理工大学(NTU)的刘岩、杨宗林、新加坡科技设计大学(SUTD)的Soujanya Poria以及新加坡科学、技术与研究局(A*STAR)的Thanh-Son Nguyen共同完成的研究引起了学术界的广泛关注。这篇题为《利用大语言模型进行科学新颖性检测》的论文于2025年5月30日发表在arXiv预印本平台(arXiv:2505.24615v1)上，由Erik Cambria教授担任通讯作者。这项研究不仅提出了新的方法，还构建了专门针对科学新颖性检测的数据集，为学术创新提供了新的视角和工具。

想象一下，你是一位科研人员，面对海量的学术论文，如何判断一个研究想法是否真正具有新颖性？这就像在图书馆中寻找一本从未被写过的书——任务艰巨而关键。有趣的是，尽管科学和技术产出呈指数级增长，但最近的研究表明，发表的论文和专利的新颖性和颠覆性却在下降。这个看似矛盾的现象引发了研究团队的思考：我们能否借助人工智能，特别是大语言模型(LLMs)的能力，来更有效地识别真正具有创新性的研究想法？

传统的新颖性检测方法主要依赖人类专家评估或启发式测量，不仅耗费大量资源，还容易受到专家知识不完整和主观性的影响。而随着大语言模型的迅猛发展，它们展现出的广博知识、强大的文本理解和推理能力，为解决这一难题提供了新的可能。

然而，研究团队发现，简单地采用现有的自然语言处理技术并不是一个万能的解决方案。这是因为文本相似性和想法概念之间存在着鸿沟。想象一下，两篇论文可能使用完全不同的词汇和表达方式，但核心想法却非常相似；反之，表面上看似相似的文本可能代表着完全不同的研究概念。就像两本书可能用不同的语言讲述同一个故事，或者看似相似的开头可能引向截然不同的结局。

为了解决这一挑战，南洋理工大学的研究团队提出了一个创新的框架，利用大语言模型的知识来训练一个轻量级检索器，这个检索器能够捕捉想法层面的相似性，而不仅仅是表面的文本相似性。这就像训练一个特殊的阅读助手，它不仅能理解文字，还能把握文字背后的核心思想。

一、构建科学新颖性检测的基准数据集

在开始研究之前，团队面临的第一个挑战是缺乏适合的基准数据集。这就像要建造一座房子，却没有合适的地基和建材。为了解决这个问题，研究团队提出了一种新方法，构建了具有"拓扑闭包"特性的论文语料库。

什么是拓扑闭包呢？简单来说，就是确保收集的论文集合是完整的，不会遗漏相关文献。想象你在做一张家族树，如果缺少了某个重要的亲戚，整个家族关系就会出现断层。同样，如果在评估研究新颖性时遗漏了关键的相关论文，可能会错误地将一个实际上并不新颖的想法判断为新颖。

研究团队首先选择了一部分论文作为"种子论文"，然后提取这些论文引用的所有参考文献，将它们也纳入语料库。这样，对于这些种子论文来说，所有相关的论文都被包含在了语料库中，形成了一个闭合集。就像一个完整的拼图，每一块都在其应有的位置。

为了使数据集更加紧凑和易于使用，团队利用大语言模型生成了每篇论文核心贡献、假设和方法的结构化摘要。这就像为每本书创建了一个详细的内容提要，使研究人员能够快速把握论文的核心思想。

具体来说，团队构建了两个领域的数据集：

市场营销领域的数据集包含了470篇种子论文，主要来自《市场营销杂志》和《市场营销研究杂志》，时间跨度从2004年到2024年。考虑到社会科学出版物的限制，这些论文都经过了精心筛选。

自然语言处理(NLP)领域的数据集则包含了3,533篇论文，这些论文来自过去五年ACL会议的公开论文。得益于NLP领域的开放获取实践，这些资源更加丰富和易于获取。

通过语义学者API，研究团队为每篇种子论文收集了参考文献，最终在市场营销领域收集了12,832篇论文，在NLP领域收集了33,911篇论文。这就像建立了两个专业领域的小型图书馆，每本书都与其他书有着明确的联系。

为了确保数据提取的有效性，团队邀请了3位专家（2名博士生和1名研究员）评估不同大语言模型（GPT-4o-mini、LLaMA3-3.1-8B和PHI-3-3B）提取的想法与原始摘要的一致性。结果显示，GPT-4o-mini表现最佳，因此被选用于想法提取和总结工作。

二、利用大语言模型知识蒸馏框架训练想法检索器

有了数据集，研究团队面临的下一个挑战是如何有效地检测研究想法的新颖性。直觉上，如果语料库中没有类似的想法，大语言模型可以轻松识别出一个想法的新颖性。但问题是，在大规模语料库中逐一交叉检查所有想法是不现实的，就像要在图书馆中逐本比对每本书一样耗时费力。

因此，团队采用了检索增强生成(RAG)策略——先检索相关想法，然后通过大语言模型进行交叉检查。这就像先通过图书馆的分类系统找到相关书架，然后才详细阅读特定的书籍，大大提高了效率。

然而，团队发现，简单使用现有的检索器并不能很好地捕捉想法层面的相似性。传统检索器更关注文本层面的相似性，可能会错过概念上相似但表达不同的想法。就像两个人可能用完全不同的词汇描述同一个概念，如果只看词汇的重叠，就会误判它们的关系。

为了解决这个问题，研究团队提出了一个基于大语言模型的知识蒸馏框架，训练一个专门用于想法检索的轻量级检索器。这个框架的核心是通过大语言模型生成的合成（非新颖）想法来训练检索器，使其能够对齐概念上相似的想法，即使它们在文本表面上差异很大。

这个过程包括三种类型的合成想法生成：

1. 改述想法：通过使用不同的语言表达来重新表述原始想法，同时保持概念的一致性。这就像用不同的词汇重新讲述同一个故事，内容不变但表达方式改变。

2. 部分想法：提取原始想法的一个子集，比如只关注特定的贡献、方法或应用领域。这就像从一个完整的食谱中只提取主要步骤或关键成分。

3. 增量想法：通过添加额外但密切相关的组件来扩展原始想法，如将原始想法与另一个想法结合或进行轻微扩展。这就像在原有的故事基础上添加新的情节或角色。

通过这三种方式，研究团队创建了大量的合成想法对（原始想法-合成想法），然后使用这些对来训练检索器。训练的目标是使检索器能够将合成想法与其对应的原始想法紧密关联起来，同时与其他不相关的新颖想法保持距离。

这个过程使用了对比学习的方法：检索器被训练成使合成想法的嵌入与其对应的原始想法的嵌入接近，而与其他想法的嵌入远离。通过这种方式，检索器学会了捕捉想法层面的相似性，而不仅仅是表面的文本相似性。

三、基于检索增强的新颖性检测策略

有了训练好的想法检索器，研究团队最后设计了一个完整的新颖性检测框架。这个框架首先使用想法检索器从语料库中检索出与目标想法最相似的候选想法，然后通过大语言模型进行交叉检查，判断目标想法的新颖性。

具体来说，给定一个目标想法和检索器返回的候选想法集，团队设计了一个结构化的提示，引导大语言模型比较目标想法与每个候选想法，并输出新颖性评分。这些评分基于5个新颖性级别：极高新颖性、高新颖性、中等新颖性、低新颖性和无新颖性。

不同于依赖人工设计的阈值，研究团队提出通过监督决策树分类器直接从数据中学习新颖性决策规则。这种方法能够捕捉新颖性评分之间的非线性组合和交互，从而实现更灵活、更准确的新颖性检测。

就像一个经验丰富的评审员，这个框架综合考虑了多方面的因素，不仅看文本的相似性，还看想法的概念性重叠，从而做出更加准确的新颖性判断。

四、实验结果与分析

为了验证所提出方法的有效性，研究团队在想法检索任务和新颖性检测任务上进行了广泛的实验。

在想法检索任务中，团队比较了多种基线方法和不同的检索器骨架。结果显示，基于大语言模型知识蒸馏的检索器在两个领域的数据集上都一致优于基线方法。与表现最好的基线方法相比，在市场营销领域平均提升了5.40%，在NLP任务上平均提升了15.19%。

有趣的是，通过锚点-参考对齐训练的变体（RA）在大多数情况下反而降低了原始检索器的性能。这说明锚点论文和它们的参考文献通常虽然共享相似的研究问题和背景，但它们的想法和新颖概念是不同的，这符合学术出版物对新颖性的要求。

另外，研究团队还分析了不同类型合成想法的性能。结果表明，基于大语言模型知识蒸馏的检索器在所有类型的合成想法上都取得了一致的改进，尤其是在增量想法上，改进最为显著。增量想法与原始想法在文本相似性上差异较大，但在概念上是相似的，这表明知识蒸馏检索器能够有效捕捉想法层面的相似性。

在新颖性检测任务上，研究团队的方法同样表现出色。与现有的方法（如URPC、PES、CD、SCIMON和MOOSE）相比，团队提出的基于检索增强的新颖性检测方法（RAG-KD）在两个领域的数据集上都取得了最佳性能。在市场营销领域，相比基线方法，RAG-KD在准确率上提高了24.11%，F1分数上提高了26.69%；在NLP领域，准确率提高了22.54%，F1分数提高了22.82%。

此外，研究团队还探究了不同超参数对方法性能的影响。结果表明，使用不同的大语言模型骨架（如Llama-3.1-8B-Instruct、gpt4o-mini和deepseek-reasoner）时，基于大语言模型知识蒸馏的检索器在大多数情况下都优于原始检索器。其中，deepseek-reasoner一致地优于其他大语言模型骨架。

关于检索的想法数量K的影响，研究发现中等大小的K（如5和10）能够为方法提供稳定和最佳的性能。较大的K（如20）并不能保证最佳性能，这可能是由于大语言模型处理大规模想法的能力有限。

五、研究意义与展望

这项研究的意义在于，它不仅提出了一种新的科学新颖性检测方法，还构建了专门针对新颖性检测的基准数据集。这些工作为学术创新提供了新的工具和视角，有助于加速科学发现和创新。

当然，这项研究也存在一些局限性。首先，大语言模型生成的想法和新颖性评分不能保证完全准确或一致，尤其是当源提示微妙或模糊时。这种伪标签中的噪声可能会影响检索器微调和新颖性检测的质量。其次，该框架目前将新颖性检测建模为二元分类任务，但新颖性往往是主观的、连续的，这可能需要未来扩展到软评估或人机交互评估。

尽管如此，这项研究为科学新颖性检测开辟了新的道路，为研究人员提供了一种更有效、更准确的方法来评估研究想法的新颖性。未来，随着大语言模型和检索技术的进一步发展，我们可以期待这一领域取得更多突破，为科学创新提供更强大的支持。

对于普通读者来说，这项研究意味着未来我们可能会有更好的工具来识别真正具有创新性的想法，这不仅对学术界意义重大，对产业界的创新也具有潜在价值。就像有了一个更智能的科学顾问，帮助我们在信息爆炸的时代找到真正值得关注的新思想。