AudioProtoPNet: An interpretable deep learning model for bird sound classification

最近，科学家提出了几种深度学习模型来监测鸟类物种的多样性。这些模型可以通过分析声学信号高精度地检测鸟类物种。然而，传统的深度学习算法是黑匣子模型，无法提供其决策过程的洞察力。对于鸟类学家等领域专家来说，这些模型不仅需要高效，还需要可解释性，以便作为辅助工具使用。在本研究中，我们提出了一种适用于音频分类的原型部分网络（ProtoPNet）的改进版本，通过其模型架构提供内在的可解释性。我们的方法基于ConvNeXt主干架构进行特征提取，并使用训练数据的谱图学习每个鸟类物种的原型模式。新数据的分类是通过与这些原型在潜在空间中的比较来完成的，这同时也作为模型决策的易于理解的解释。

如何使鸟类物种多样性监测更加高效和可解释？

使用Prototypical Part Network（ProtoPNet）进行鸟类声音分类，通过原型模式在潜空间中比较新数据，同时提供易于理解的解释。

使用ConvNeXt骨干网络进行特征提取，学习每个鸟类物种的原型模式，提供内在可解释性。实验结果表明该方法在准确性和可解释性方面优于传统深度学习算法。

在鸟类声音分类领域，最近的相关研究包括“BirdCLEF 2020: Fine-grained Bird Classification with Learned Feature Representations”和“Bird Species Classification using Convolutional Neural Networks and Data Augmentation with Mixed Sample Generation”。