KGValidator: A Framework for Automatic Validation of Knowledge Graph Construction

这项研究探讨了使用大型语言模型（LLMs）自动评估知识图谱（KG）完成模型的应用。历史上，验证KG中的信息一直是一项具有挑战性的任务，需要大规模的人工注释，成本高昂。随着通用生成AI和LLMs的出现，现在有可能用生成代理替代人为验证。我们介绍了一个框架，用于在使用生成模型验证知识图谱时保持一致性和验证性。我们的框架基于最近开源的LLM输出结构和语义验证的发展，并基于灵活的事实检查和验证方法，支持引用任何类型的外部知识来源。该设计易于适应和扩展，并可通过模型内在知识、用户提供的上下文和能够检索外部知识的代理来验证任何类型的图形结构数据。

论文旨在探索使用大型语言模型（LLMs）自动评估知识图谱（KG）完成模型的可行性。历史上，验证KG中的信息一直是一项具有挑战性的任务，需要大规模的人工注释，成本高昂。随着通用生成AI和LLMs的出现，人类参与的验证现在可以被生成代理所取代。

本论文提出了一个框架，用于在使用生成模型验证知识图谱时进行一致性和验证。该框架基于最近的开源发展，用于验证LLM输出的结构和语义，并基于灵活的事实检查和验证方法，支持引用任何类型的外部知识源的能力。该设计易于适应和扩展，并可通过模型内在知识、用户提供的上下文以及能够检索外部知识的代理来验证任何类型的图形结构化数据。

该论文的亮点包括提出的框架可以验证任何类型的图形结构化数据，使用了开源的结构和语义验证工具，可以引用外部知识源进行验证。实验设计了一种灵活的方法来检查和验证事实，并使用了不同的数据集来验证模型的效果。该论文还提供了开源代码，以便其他研究人员可以使用和扩展该框架。

最近的相关研究包括使用LLMs进行知识图谱补全的研究，以及使用外部知识源进行知识图谱验证的研究。例如，论文“Knowledge Graph Completion with Adaptive Sparse Transfer Learning”和“Knowledge Graph Verification and Validation”。