A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models

机制可解释性（MI）是可解释性的一个新兴子领域，旨在通过反向工程其内部计算来理解神经网络模型。最近，MI在解释基于Transformer的语言模型（LMs）方面引起了广泛关注，产生了许多新的见解，但也带来了新的挑战。然而，尚未有工作全面回顾这些见解和挑战，特别是作为该领域新手的指南。为了填补这一空白，我们提出了一份全面的调查报告，概述了MI研究的基本对象、用于其研究的技术、评估MI结果的方法以及MI用于理解LMs所产生的重要发现和应用。特别是，我们为初学者提供了一份指南，帮助他们在该领域中进行导航并利用MI获益。最后，我们还确定了该领域当前的差距，并讨论了潜在的未来方向。

本论文旨在探讨机器学习中的可解释性问题，特别是针对基于Transformer的语言模型的可解释性，并提出解决方案。

论文提出了一种机器学习可解释性的子领域：机械解释性（MI），并介绍了用于研究MI的技术、评估MI结果的方法以及使用MI理解LMs所得到的重要发现和应用。

论文提供了一个面向初学者的MI领域指南，介绍了MI的基本研究对象、技术和评估方法，并讨论了MI在理解LMs方面的重要发现和应用。论文还指出了该领域的现有差距，并探讨了未来的研究方向。

最近的相关研究包括：《Attention is not Explanation》、《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》等。