Towards Interpreting Language Models: A Case Study in Multi-Hop Reasoning

回答多跳推理问题需要从不同的来源检索并综合信息。语言模型（LMs）在执行此类推理时表现不稳定。我们提出了一种方法，通过在语言模型的注意力头上进行有针对性的记忆注入来识别和纠正多跳推理错误。首先，我们分析了GPT-2模型对单跳和多跳提示的每层激活情况。然后，我们提出了一种机制，允许用户在推理过程中，在关键的语言模型位置注入相关提示特定信息，我们称之为“记忆”。通过这种方式，使语言模型在推理过程中能够纳入额外的相关信息，从而提高多跳提示完成的质量。我们实证研究显示，简单、高效且有针对性地将记忆注入关键注意力层，通常可以将多跳任务中所需下一个词的概率提高多达424%。我们观察到，注意力头的小子集在多跳推理过程中可以显著影响模型预测。为了更真实地解释这些注意力头，我们开发了Attention Lens：一个开源工具，通过称为透镜的已学习转换，将注意力头的输出转化为词汇标记。我们展示了如何使用透镜揭示模型是如何得出答案的，并用它们来定位模型失败的源头，例如在生成有偏见或恶意语言的情况下。

该论文旨在解决语言模型在多跳推理任务中的表现不一致问题。这是一个已知的问题，但提出了一种新的方法来改进这一情况。

论文的关键思路是通过分析GPT-2模型在单跳和多跳提示下的每层激活情况，提出一种机制允许用户在推理过程中向模型的关键位置注入特定于提示的相关信息（称为“记忆”）。这种方法能够增强多跳推理任务的完成质量。与现有方法不同，它专注于在特定的注意力头中进行有针对性的记忆注入，而非整体调整模型。

论文展示了简单且高效的针对性记忆注入可以显著提高多跳任务中期望下一个词的概率，最高可达424%。此外，研究发现少量的注意力头对模型预测有重大影响。为了更好地解释这些注意力头的作用，作者开发了一个名为Attention Lens的开源工具，该工具通过学习转换（称为镜头）将注意力头的输出翻译成词汇表中的词。论文还展示了如何利用镜头揭示模型得出答案的过程，并定位模型失败的来源，如生成偏见或恶意语言。

近期在多跳推理领域，相关研究包括《Enhancing Multi-hop Reasoning with External Knowledge for Question Answering》和《Improving Multi-hop Reasoning via Knowledge Graph Augmentation》。这些研究主要集中在通过外部知识或知识图谱增强来提升多跳推理能力。相比之下，本论文提出了一个更直接的方法，即通过内存注入来改善模型的推理过程。