GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

知识图谱（KG）以三元组（头，关系，尾）的形式表示人工制作的事实知识，这些三元组共同形成一个图。在KG上进行问答（KGQA）是回答自然问题的任务，其推理基于KG提供的信息。由于其出色的自然语言理解能力，大型语言模型（LLM）是QA任务的最先进模型。另一方面，图神经网络（GNN）已广泛用于KGQA，因为它们可以处理存储在KG中的复杂图形信息。在这项工作中，我们介绍了GNN-RAG，这是一种将LLM的语言理解能力与GNN的推理能力以检索增强生成（RAG）风格相结合的新方法。首先，GNN在密集的KG子图上进行推理，以检索给定问题的答案候选项。其次，提取连接问题实体和答案候选项的KG最短路径以表示KG推理路径。提取的路径被转化为语言形式，并作为输入提供给LLM进行RAG推理。在我们的GNN-RAG框架中，GNN充当密集子图推理器，以提取有用的图形信息，而LLM则利用其自然语言处理能力进行最终的KGQA。此外，我们开发了一种检索增强（RA）技术，以进一步提高GNN-RAG的KGQA性能。实验结果表明，GNN-RAG在两个广泛使用的KGQA基准测试（WebQSP和CWQ）中实现了最先进的性能，在7B调整的LLM下，其性能优于或与GPT-4的性能相匹配。此外，GNN-RAG在多跳和多实体问题上表现出色，在答案F1上比竞争方法高出8.9-15.5个百分点。

本论文旨在解决知识图谱问答中的问题，即如何将大型语言模型和图神经网络相结合以提高问答准确性。

GNN-RAG是一种新型的知识图谱问答方法，它将语言模型的自然语言理解能力与图神经网络的推理能力相结合，通过检索-生成的方式来回答问题。

论文在WebQSP和CWQ两个广泛使用的知识图谱问答基准测试中实现了最先进的性能，超过或与GPT-4性能相匹配。论文还提出了一种检索增强技术，进一步提高了GNN-RAG的性能。实验设计合理，使用了多个数据集，并且开源了代码。

近期的相关研究包括使用图神经网络进行知识图谱问答的方法，以及使用大型语言模型进行自然语言处理任务的研究。