Explaining Explainability: Understanding Concept Activation Vectors

最近的可解释性方法提出使用基于概念的解释，将深度学习模型的内部表示转化为人类熟悉的语言：概念。这需要理解神经网络表示空间中存在哪些概念。一种流行的发现概念的方法是概念激活向量（CAVs），使用概念实例的探针数据集进行学习。在这项工作中，我们研究了CAVs的三个特性。CAVs可能是：（1）层之间不一致，（2）与不同的概念纠缠在一起，以及（3）空间依赖性。每个特性都提供了解释模型的挑战和机会。我们引入了设计用于检测这些特性存在的工具，提供了这些特性如何影响派生的解释的见解，并提供了减少其影响的建议。理解这些特性可以利用它们的优点。例如，我们引入了空间依赖的CAVs来测试模型是否相对于特定概念和类具有平移不变性。我们的实验在ImageNet和一个新的合成数据集Elements上进行。Elements旨在捕捉概念和类之间已知的基本关系。我们发布此数据集以促进进一步研究可解释性方法的理解和评估。

论文旨在研究Concept Activation Vectors（CAVs）的三个属性，探索它们如何影响模型的解释性，并提供解决方案来减小这些影响。同时，论文还引入了一种新的数据集Elements，用于进一步研究和评估可解释性方法。

论文提出了CAVs的三个属性可能会导致解释不一致、与不同概念纠缠、以及空间依赖性等问题，并提供了相应的工具来检测这些属性的存在并解决这些问题。此外，论文还引入了一种新的空间依赖CAVs来测试模型在特定概念和类别上是否具有平移不变性。

论文的实验采用了ImageNet和新的Elements数据集，后者旨在捕捉概念和类别之间的已知关系。论文开源了Elements数据集，同时提供了解释性方法的代码。此外，论文还提出了一些值得深入研究的工作，如如何提高解释性方法的效率和可靠性。

最近的相关研究包括：Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors，Towards A Rigorous Science of Interpretable Machine Learning，Visualizing and Understanding Convolutional Networks等。