Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering

为了解决大型语言模型（LLMs）中知识不足和产生幻觉的问题，许多研究努力将LLMs与知识图谱（KGs）集成。然而，所有这些方法都是在传统的知识图谱问答（KGQA）中进行评估的，这些KGs是完整的，每个问题涉及的事实三元组都完全被给定的KG覆盖。在这种情况下，LLM主要作为一个代理，通过探索KG来查找答案实体，而不是有效地集成内部和外部知识源。然而，在现实世界的情况下，KGs通常不完整，无法涵盖回答问题所需的所有知识。为了模拟现实世界的情况并评估LLMs集成内部和外部知识的能力，在本文中，我们提出了利用LLMs进行不完整知识图谱问答（IKGQA）的方法，其中给定的KG不包括每个问题涉及的所有事实三元组。为了处理IKGQA，我们提出了一种名为Generate-on-Graph（GoG）的无需训练的方法，可以在KG上探索时生成新的事实三元组。具体而言，我们提出了一个选择-生成-回答的框架，不仅将LLM作为一个代理来在KG上探索，而且将其作为一个KG来生成新的事实，基于探索的子图及其固有的知识。两个数据集上的实验结果表明，我们的GoG可以在一定程度上解决IKGQA问题，而几乎所有先前的方法都无法在IKGQA上表现良好。

论文试图解决的问题是如何在不完整的知识图谱下进行问答，提出了一种训练免费的方法。

论文提出了一种名为Generate-on-Graph (GoG)的方法，它可以在探索知识图谱的过程中生成新的事实三元组，从而解决不完整知识图谱下的问答问题。

实验结果表明，GoG可以在不完整的知识图谱下解决问答问题，并且相比之前的方法具有更好的效果。论文使用了两个数据集进行实验，并提供了开源代码。

最近的相关研究包括将大型语言模型与知识图谱相结合，以及使用知识图谱进行问答。论文中也提到了一些相关研究，如基于知识图谱的问答和知识图谱补全。