Describe-and-Dissect: Interpreting Neurons in Vision Networks with Language Models

本文提出了一种新方法Describe-and-Dissect（DnD），用于描述视觉网络中隐藏神经元的作用。DnD利用最近在多模态深度学习方面的进展，产生复杂的自然语言描述，无需标记的训练数据或预定义的概念集来选择。此外，DnD是无需训练的，这意味着我们不需要训练任何新模型，并且将来可以轻松利用更强大的通用模型。我们进行了广泛的定性和定量分析，以表明DnD通过提供更高质量的神经元描述而优于以前的工作。具体而言，我们的方法平均提供了最高质量的标签，并且是最佳基线的两倍以上，更有可能被选为神经元的最佳解释。

论文旨在提出一种新方法Describe-and-Dissect（DnD），用于描述视觉网络中隐藏神经元的作用，而无需标记训练数据或预定义的概念集。

DnD利用多模态深度学习的最新进展，可以生成复杂的自然语言描述。此外，DnD是无需训练的，因此我们不需要训练任何新模型，并且可以轻松地利用更强大的通用模型。

论文进行了广泛的定性和定量分析，表明DnD通过提供更高质量的神经元描述优于以前的工作。具体而言，我们的方法平均提供最高质量的标签，并且比最佳基线更有可能被选择为神经元的最佳解释的两倍以上。

最近在这个领域中，还有一些相关的研究，如VisualBackProp，DeepDream和Excitation Backprop等。