Hopping Too Late: Exploring the Limitations of Large Language Models on Multi-Hop Queries

大型语言模型（LLMs）可以解决复杂的多步问题，但我们对这些计算如何在内部实现知之甚少。出于这个原因，我们研究了LLMs如何回答多跳查询，例如“The spouse of the performer of Imagine is”。这些查询需要两个信息提取步骤：一个潜在的步骤，用于将第一跳（“Imagine的表演者”）解析为桥接实体（约翰·列侬），以及一个用于将第二跳（“约翰·列侬的配偶”）解析为目标实体（小野洋子）的步骤。理解潜在步骤如何在内部计算是理解整个计算的关键。通过仔细分析基于变压器的LLMs的内部计算，我们发现桥接实体在模型的早期层中被解析。然后，在此解析之后，两跳查询在后期层中解决。因为第二跳在后期层中开始，所以可能存在这些层不再编码正确预测答案所需的知识的情况。出于这个原因，我们提出了一种新的“回填”分析方法，即将后期层的隐藏表示补回到早期层。我们发现，在以前错误的情况下，高达57％的情况存在回填，从而导致正确生成答案，这表明后期层确实有时缺乏所需的功能。总体而言，我们的方法和发现为理解和改进基于变压器的LLMs中的潜在推理开辟了更多机会。

论文研究如何解决多跳查询的问题，即如何在LLMs中实现内部计算，以回答需要两个信息提取步骤的查询。

通过仔细分析基于transformer的LLMs的内部计算，发现桥接实体在模型的早期层中解析。然后，在这种解析之后，才在后期层中解决两个跳的查询。提出了一种新的“回补”分析方法，该方法可以将后期层的隐藏表示补回早期层，以解决后期层可能缺乏必要功能的问题。

论文使用了transformer-based LLMs进行实验，并提出了新的“回补”分析方法。实验结果表明，在57％的以前不正确的情况下，存在一种回补方法可以正确生成答案。这些方法和结果为理解和改进transformer-based LLMs中的潜在推理开辟了更多机会。

最近在这个领域中，还有一些相关研究，例如《Language Models as Knowledge Bases?》和《Compositional Questions Require Compositional Answers》。