Retrieval-Enhanced Knowledge Editing for Multi-Hop Question Answering in Language Models

大型语言模型（LLMs）在问答任务中表现出了熟练的能力，但往往难以整合实时的知识更新，导致可能过时或不准确的答案。当处理多跳问题时，这个问题变得更加具有挑战性，因为它们要求LLMs更新和整合与问题相关的多个知识点。为了解决这个问题，我们提出了针对多跳问题回答的检索增强模型编辑（RAE）框架。RAE首先检索编辑过的事实，然后通过上下文学习来完善语言模型。具体而言，我们的检索方法基于互信息最大化，利用LLMs的推理能力来识别链式事实，这些事实可能会被朴素的基于相似性的搜索所忽略。此外，我们的框架还包括修剪策略，以消除检索到的事实中的冗余信息，从而提高编辑的准确性并减轻幻觉问题。我们的框架得到了理论上的证明，证明了其事实检索的有效性。最后，在各种LLMs上进行全面评估，验证了RAE提供准确答案与更新知识的能力。

本论文旨在解决LLMs在多跳问答中难以整合实时知识更新的问题，导致可能过时或不准确的回答。同时，针对多跳问题，需要LLMs更新和整合多个与问题相关的知识片段。

本文提出了适用于多跳问答的检索增强模型编辑（RAE）框架。RAE首先检索编辑后的事实，然后通过上下文学习来完善语言模型。具体而言，我们的检索方法基于互信息最大化，利用LLMs的推理能力来识别naive基于相似性的搜索可能会错过的链式事实。此外，我们的框架还包括修剪策略，以消除检索到的事实中的冗余信息，从而提高编辑准确性并减轻幻觉问题。

本文的亮点包括：理论上的证明了检索方法的有效性；通过各种LLMs的全面评估验证了RAE提供更新的知识和准确的答案的能力。

最近在这个领域中，还有一些相关的研究被进行，例如：《Multi-hop Knowledge Graph Reasoning with Reward Shaping》、《Multi-hop Reading Comprehension through Question Decomposition and Rescoring》等。