G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering

我们的方法可以让用户通过对话界面与具有文本属性的图进行交互，即通过提问来了解图的相关信息。我们的方法会针对用户的问题提供文本回复，并突出显示图中相关的部分。现有的方法大多集成了大型语言模型（LLMs）和图神经网络（GNNs），但它们大多集中在传统的图任务（如节点、边缘和图分类）或在小型或人工合成图上回答简单的图查询。相比之下，我们开发了一个灵活的问答框架，针对现实中的文本图，适用于多个应用，包括场景图理解、常识推理和知识图谱推理。为了实现这个目标，我们首先使用从不同任务中收集的数据，开发了我们的图问题回答（GraphQA）基准。然后，我们提出了我们的G-Retriever方法，它集成了GNNs、LLMs和检索增强生成（RAG）的优势，并可以进行微调，通过软提示来增强对图的理解。为了抵抗幻觉并允许处理远超LLM上下文窗口大小的文本图，G-Retriever通过将此任务构建为一个奖励收集斯坦纳树优化问题，在图上执行RAG。实证评估表明，我们的方法在多个领域的文本图任务上优于基线，随着图形大小的增加而扩展，并抵制幻觉。（我们的代码和数据集可在以下链接找到：https://github.com/XiaoxinHe/G-Retriever。）

本文旨在开发一种灵活的问答框架，针对实际应用中的文本图表，适用于多个应用程序，包括场景图理解、常识推理和知识图推理。

本文提出了G-Retriever方法，该方法集成了GNN、LLM和检索增强生成（RAG）的优点，并可微调以通过软提示增强图形理解。为了抵抗幻觉并允许超过LLM上下文窗口大小的文本图形，G-Retriever通过将此任务制定为奖励收集Steiner树优化问题来执行RAG。

本文开发了GraphQA基准测试，其数据从不同任务中收集。本文的方法在多个领域的文本图形任务上优于基线，并且可以很好地扩展到更大的图形大小，并且可以抵抗幻觉。

最近在这个领域中，已经有一些研究集成了大型语言模型（LLM）和图神经网络（GNN），但大多集中在传统的图任务上（如节点、边缘和图分类），或者针对小型或合成图回答简单的图查询。