Axiomatic Causal Interventions for Reverse Engineering Relevance Computation in Neural Retrieval Models

神经模型在各种排序任务中表现出了卓越的性能。然而，它们确定相关性的过程和内部机制仍然大多未知。现有的分析神经排序器行为与信息检索属性相关的方法要么评估整体模型行为，要么采用探测方法，可能提供不完整的因果机制理解。为了更细致地理解内部模型决策过程，我们提出使用因果干预来反向工程神经排序器，并展示了如何使用机械解释方法来分离满足术语频率公理的排名模型组件。我们确定了一组注意力头，在模型的早期层中检测重复的标记，然后与下游头通信来计算整个文档的相关性。更一般地说，我们建议这种机械分析的方法开辟了逆向工程神经检索模型用于计算相关性的过程的途径。本研究旨在启动细致的可解释性工作，不仅有利于检索模型的开发和训练，而且最终确保这些模型的更安全的部署。

本文试图通过提出一种新的机制性可解释性方法，来解决神经排序模型内部决策过程的可解释性问题。

本文提出使用因果干预来反向工程神经排序模型，并使用机制性可解释性方法来分离满足词频公理的组件。作者发现一组注意力头在模型较早的层中检测重复标记，然后与下游注意力头进行通信以计算整体文档相关性。

本文的实验结果表明，提出的方法可以更细粒度地理解神经排序模型的内部决策过程，并发现了一些之前未知的模型行为。作者还提出了一些未来工作的方向，如如何将这种方法应用于其他类型的神经检索模型，并探索如何将这种机制性可解释性方法与其他解释性方法结合使用。

最近的相关研究包括使用探测方法来分析神经排序模型的行为，以及使用因果推理来解释神经网络的决策过程。