CoSy: Evaluating Textual Explanations of Neurons

理解深度神经网络(DNNs)复杂性的一个关键方面是能够解释它们潜在表示中所学习的概念。虽然存在各种方法将神经元连接到人类可理解的概念的文本描述，但由于缺乏统一的、通用的定量评估，评估这些解释方法的质量在该领域中带来了重大挑战。在这项工作中，我们介绍了CoSy(概念合成)——一种新颖的、与架构无关的框架，用于评估潜在神经元的文本解释的质量。给定文本解释，我们提出的框架利用一个基于文本输入的生成模型来创建表示文本解释的数据点。然后，将神经元对这些解释数据点的响应与对控制数据点的响应进行比较，从而提供给定解释的质量估计。我们通过一系列元评估实验确保了我们提出的框架的可靠性，并通过对计算机视觉任务的各种基于概念的文本解释方法进行基准测试的洞察力证明了其实用价值，表明测试的解释方法在质量上存在显著差异。

本论文旨在解决深度神经网络中的概念解释质量评估问题，提出了一种新的框架CoSy。

CoSy框架利用生成模型生成数据点来比较神经元对文本解释的响应与对控制数据点的响应，评估文本解释的质量。

论文通过元评估实验验证了CoSy框架的可靠性，并使用计算机视觉任务的基准测试展示了对不同概念解释方法的评估结果。

相关研究包括但不限于：'Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (CAVs)'，'Visualizing and Understanding Convolutional Networks'，'Learning and Visualizing Semantic Concepts with Deep Neural Networks'等。