Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments

大型语言模型（LLMs）在推理结构化环境（例如知识图谱和表格）方面表现出潜力。这些任务通常需要多跳推理，即将自然语言话语与环境中的实例进行匹配。先前的方法利用LLMs逐步与环境交互，通过调用工具或选择模式来逐步构建推理路径。我们提出了一种新的框架Reasoning-Path-Editing（Readi），其中LLMs可以高效地、忠实地推理结构化环境。在Readi中，LLMs最初根据查询生成推理路径，并仅在必要时编辑路径。我们在结构化环境上实例化路径，并提供反馈以编辑路径，以防出现任何问题。在三个KGQA数据集和两个TableQA数据集上的实验结果表明，Readi的有效性显著超过所有基于LLM的方法（在WebQSP上提高了9.1％，在MQA-3H上提高了12.4％，在WTQ上提高了10.9％），与最先进的微调方法相当（在CWQ上为67％，在WebQSP上为74.7％），并显著提高了原始LLMs的性能（在CWQ上提高了14.9％）。我们的代码将在发表后提供。

本论文旨在解决结构化环境中的多跳推理任务，即将自然语言表述与环境实例进行匹配的问题。论文提出了一种新的框架Readi，旨在使LLMs能够高效、准确地进行推理。

Readi框架中，LLMs首先生成一个推理路径，然后只在必要时进行路径编辑。该框架在三个KGQA数据集和两个TableQA数据集上进行实验，结果表明Readi的有效性显著超过了所有基于LLMs的方法。

论文使用了实验来验证Readi框架的有效性，并且在三个KGQA数据集和两个TableQA数据集上进行了实验。实验结果表明，Readi框架的性能显著优于所有基于LLMs的方法，并且与现有的微调方法相当。论文还提供了代码。

最近在这个领域中，还有一些相关的研究，如《Multi-hop Knowledge Graph Reasoning with Reward Shaping》和《Multi-hop Table Semantic Parsing with Syntax and Semantics》。