Leveraging Logical Rules in Knowledge Editing: A Cherry on the Top

多跳问答（MQA）在知识编辑（KE）下是大型语言模型（LLMs）中的一个关键挑战。虽然在这个领域表现最佳的解决方案使用计划和解决范式将问题分解为子问题，然后生成响应，但我们认为这种方法是次优的，因为它无法处理难以分解的问题，并且它没有明确地适应于由于知识编辑而导致的相关知识更新。这对更新后的知识的整体一致性产生了不利影响。为了解决这些问题，本文提出了一种名为RULE-KE的新型框架，即基于规则的知识编辑，它是增强所有现有MQA方法在KE下表现的巅峰之作。具体而言，RULE-KE利用规则发现来发现一组逻辑规则。然后，它使用这些发现的规则来更新与编辑高度相关的事实的知识。使用现有和新策划的数据集（即RKE-EVAL）进行的实验评估表明，RULE-KE有助于将基于参数和基于内存的解决方案的性能分别提高了92%和112.9%。

如何在知识编辑的情况下提高大型语言模型下的多跳问答性能？

提出了一种基于规则发现的知识编辑框架RULE-KE，通过发现一组逻辑规则来更新与编辑高度相关的事实的知识，从而提高现有多跳问答方法的性能。

实验结果表明，RULE-KE可以将参数化和基于内存的解决方案的性能分别提高92%和112.9%。

与该论文相关的研究包括：《Multi-hop Knowledge Graph Reasoning with Reward Shaping》、《Multi-hop Knowledge Reasoning with Iterative Attentive Aggregation》等。