AND: Audio Network Dissection for Interpreting Deep Acoustic Models

本文旨在通过研究对特定感知或结构输入模式响应的神经元来解释网络行为和特性。虽然在视觉和语言领域有一些新的工作，但在声学模型中没有探索。为了弥补这一差距，我们介绍了AND，这是第一个基于高度响应的音频的自动建立声学神经元自然语言解释的音频网络解剖框架。AND采用LLMs来总结音频之间的共同声学特征和身份。进行了大量实验来验证AND的精确和信息丰富的描述。此外，我们展示了AND在音频机器取消学习中的潜在用途，通过基于生成的描述进行概念特定的修剪。最后，我们通过AND的分析突出了两种声学模型行为：（i）模型通过基本的声学特征而非高级抽象概念来区分音频；（ii）训练策略影响模型行为和神经元的可解释性——监督训练指导神经元逐渐缩小注意力，而自监督学习鼓励神经元成为多义词，以探索高级特征。

论文旨在解决音频模型中神经元的解释问题，提出了一个自动建立自然语言解释的框架AND，并探讨了该框架的潜在用途。

AND框架利用LLMs来总结音频中的共同特征和身份，从而自动建立神经元的自然语言解释，可以用于模型解释和概念特定的修剪。

论文通过实验验证了AND框架的精确性和信息量，探讨了模型行为和神经元可解释性之间的关系，并发现了模型对音频的辨别是基于基本声学特征而非高级抽象概念。论文还提到了通过AND框架进行音频机器去学习的潜在用途。

最近的相关研究包括视觉和语言领域的神经元解释研究，但尚未探索音频模型的解释。