HOLMES: Hyper-Relational Knowledge Graphs for Multi-hop Question Answering using LLMs

大型语言模型（LLMs）擅长回答简单（单跳）问题，但随着问题复杂度的增加，它们的表现会下降。我们认为这是由于理解复杂问题、过滤和聚合原始文本中的非结构化信息所带来的开销。最近的方法尝试通过将结构化知识三元组整合到原始文本中来减轻这种负担，以提供简化信息处理的结构化概述。然而，这种简单的方法不考虑查询，提取的事实也缺乏上下文，存在歧义。为了解决这些缺点，使LLMs能够轻松回答复杂（多跳）问题，我们提出使用一个上下文感知的知识图谱（KG），并将其精简为包含查询相关信息。使用我们压缩的精简KG作为LLMs的输入，相比于最先进的方法，我们的方法利用了多达67％更少的令牌来表示支持文档中存在的查询相关信息。我们的实验表明，在两个流行的基准数据集（HotpotQA和MuSiQue）上，我们的方法在几个指标（EM、F1、BERTScore和人类评估）上都取得了一致的改进。

本论文旨在解决大型语言模型在回答复杂问题时性能下降的问题，提出了使用上下文感知、压缩的知识图谱作为输入，以便于LLMs更好地回答多跳问题。

论文提出了一种使用上下文感知、压缩的知识图谱作为输入的方法，以便于LLMs更好地回答多跳问题，相比当前领域的研究，这种方法可以使用更少的标记来表示查询相关信息。

论文使用HotpotQA和MuSiQue两个流行的基准数据集进行实验，结果表明该方法在多个指标上（EM、F1、BERTScore和Human Eval）均优于当前最先进的方法。此外，论文还提供了开源代码和数据集。

在相关研究中，最近的一些研究包括：《Multi-hop Reading Comprehension through Question Decomposition and Rescoring》、《Multi-hop Knowledge Graph Reasoning with Reward Shaping》等。