Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs

大型语言模型（LLMs）在表现上表现出色，但在知识密集型任务中容易出现幻觉。现有的研究提出了使用从外部知识语料库检索到的单个文本单元来缓解这个问题。然而，在许多领域中，文本是相互关联的（例如，文献图中的学术论文通过引用和合著关系相互链接），形成了一个（文本属性）图。这种图中的知识不仅编码在单个文本/节点中，而且还编码在它们的相关连接中。为了促进将图形与LLMs相结合的研究，我们手动构建了一个名为GRBench的图形推理基准数据集，其中包含1,740个问题，可以用来回答来自10个领域图形的知识。然后，我们提出了一个简单有效的框架，称为Graph Chain-of-thought（Graph-CoT），通过鼓励LLMs迭代地在图形上进行推理来增强LLMs与图形的结合。每个Graph-CoT迭代包括三个子步骤：LLM推理、LLM-图形交互和图形执行。我们在GRBench上使用三个LLM骨干系统进行了系统实验，其中Graph-CoT始终优于基线。代码可在https://github.com/PeterGriffinJin/Graph-CoT上找到。

本论文旨在解决大型语言模型在知识密集型任务中出现幻觉的问题，并提出了一种基于图的增强方法。

论文提出了一种名为Graph-CoT的简单而有效的框架，通过迭代地鼓励大型语言模型在图上进行推理，从而增强了大型语言模型的表现。

该论文手动构建了一个名为GRBench的图推理基准数据集，包含1,740个问题，可用于从10个领域图中提取知识。作者在GRBench上对三种大型语言模型进行了系统实验，证明了Graph-CoT方法的有效性。研究者还提供了代码。

在最近的相关研究中，一些学者提出了使用外部知识库来增强大型语言模型的方法，而本论文则提出了一种基于图的增强方法，这种方法可以更好地捕捉文本之间的关系。