RAKG:Document-level Retrieval Augmented Knowledge Graph Construction

随着基于知识图谱的检索增强生成（RAG）技术的兴起，例如 GraphRAG 和 Pike-RAG，知识图谱在提升大语言模型（LLMs）推理能力方面的作用变得愈发突出。然而，传统的知识图谱构建（KGC）方法面临着诸如复杂的实体消歧、僵化的模式定义以及跨文档知识整合不足等挑战。本文专注于自动文档级知识图谱构建任务，提出了一种文档级检索增强知识图谱构建（RAKG）框架。RAKG 从文本片段中提取预实体，并将这些预实体作为 RAG 的查询条件，有效解决了 LLMs 在长上下文中的遗忘问题，同时降低了共指解析的复杂性。与传统 KGC 方法相比，RAKG 更能捕捉全局信息和不同节点之间的关联，从而提升了模型的整体性能。此外，我们将 RAG 的评估框架迁移到 KGC 领域，对生成的知识图谱进行过滤和评估，从而避免了 LLMs 幻觉导致的错误实体和关系生成。我们还通过为每篇文章构建标准知识图谱，开发了 MINE 数据集，并通过实验验证了 RAKG 的性能。结果表明，RAKG 在 MINE 数据集上达到了 95.91% 的准确率，比当前最佳基线方法 GraphRAG（89.71%）提高了 6.2 个百分点。代码已开源，地址为 https://github.com/LMMApplication/RAKG。

论文试图解决传统知识图谱构建（KGC）方法在处理长文档时面临的挑战，如实体消歧复杂、模式定义僵化以及跨文档知识整合不足的问题。这是一个已有问题，但针对大规模文档级别的自动构建知识图谱提出了新的解决方案。

论文提出了一种名为RAKG的框架，利用从文本块中提取的预实体作为查询进行检索增强生成（RAG），从而有效缓解了大型语言模型（LLMs）中的长上下文遗忘问题，并降低了共指解析的复杂性。与传统方法相比，RAKG能够更好地捕捉全局信息和节点间的关联，显著提升知识图谱构建的性能。

1. 提出了MINE数据集，用于验证RAKG框架的有效性，并提供了标准的知识图谱作为基准；2. 实验结果表明，RAKG在MINE数据集上的准确率达到95.91%，比当前最佳基线GraphRAG提升了6.2个百分点；3. 将RAG评估框架迁移到KGC领域，通过过滤和评估生成的知识图谱来减少LLMs幻觉的影响；4. 开源代码已发布至GitHub (https://github.com/LMMApplication/RAKG)，便于后续研究和应用开发。

近期相关研究包括：1. GraphRAG，一种结合知识图谱和RAG技术的方法，用于增强LLMs的推理能力；2. Pike-RAG，专注于优化知识检索过程以提高生成质量；3. 文档级知识图谱构建的研究，例如《Document-Level Knowledge Graph Construction with Pre-trained Language Models》和《Enhancing Knowledge Graphs with Contextualized Embeddings》；4. 针对LLMs幻觉问题的研究，如《Mitigating Hallucinations in Large Language Models for Knowledge-Intensive Tasks》。