From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

可解释性和分析（IA）研究是自然语言处理（NLP）领域内一个日益发展的子领域，其目标是深入理解NLP系统和方法的行为或内部工作原理。尽管该子领域越来越受到关注，但常见的批评是它缺乏可操作的见解，因此对NLP的影响不大。在本文中，我们试图量化IA研究对NLP领域的影响。我们采用混合方法分析了以下两个方面：（1）从2018年到2023年ACL和EMNLP会议上发表的所有论文构建的185K +篇论文引用图，（2）对NLP社区的138名成员进行的调查。我们的定量结果显示，IA工作在IA之外也得到了良好的引用，并且在NLP引用图中处于核心地位。通过对调查回复的定性分析和对556篇论文的手动注释，我们发现NLP研究人员借鉴了IA工作的发现，并认为它对NLP、多个子领域的进展至关重要，并依赖其发现和术语进行自己的工作。许多新方法是基于IA发现提出的，并受到其高度影响，但高影响力的非IA工作引用了IA的发现而不是被其驱动。最后，我们总结了IA工作中缺失的内容，并呼吁行动，为IA研究的更有影响力的未来铺平道路。

评估解释性和分析研究对NLP领域的影响

使用引文图和调查研究来量化解释性和分析研究对NLP领域的影响，结果表明解释性和分析研究对于NLP领域的进展至关重要

IA研究不仅在IA领域内有良好的引用，而且在NLP领域中也很重要；NLP研究人员借鉴IA研究成果，并认为它对NLP的进展至关重要；论文提出了一些缺失的IA研究方向，为IA研究提供了行动指南

最近的相关研究主要是关于NLP的解释性和可解释性方面，例如“Explaining Black Box Predictions and Uncovering Model Structure with Counterfactuals”和“Attention is not Explanation”等