Tuning In: Analysis of Audio Classifier Performance in Clinical Settings with Limited Data

该研究评估了深度学习模型在临床环境中进行音频分类的效果，同时考虑了反映现实世界前瞻性数据收集的小数据集的限制。我们分析了包括DenseNet和ConvNeXt在内的CNN，以及类似ViT、SWIN和AST的Transformer模型，并将它们与预训练的音频模型（如YAMNet和VGGish）进行比较。我们的方法强调了在特定临床数据微调之前在大型数据集上进行预训练的好处。我们从中风患者中前瞻性收集了两个独特的患者音频数据集。我们研究了各种预处理技术，发现RGB和灰度光谱图变换根据它们从预训练中学到的先验知识会对模型性能产生不同的影响。我们的发现表明，在小数据集环境中，CNN可以与Transformer模型相匹配甚至超越它们，其中DenseNet-Contrastive和AST模型表现突出。该研究强调了通过模型选择、预训练和预处理在声音分类中实现增量边际收益的重要性，为依赖于音频分类的临床诊断提供了有价值的见解。

本文旨在评估深度学习模型在临床设置中的音频分类能力，同时考虑真实世界中数据集较小的限制。研究人员收集了两个来自中风患者的独特音频数据集，试图探索如何在小数据集上进行音频分类。

本文的关键思路是通过在大型数据集上进行预训练，然后在特定临床数据上进行微调，来提高音频分类模型的性能。作者比较了多种模型，包括CNN、DenseNet、ConvNeXt、ViT、SWIN、AST、YAMNet和VGGish，并发现CNN可以在小数据集上与变压器模型相匹配或超越它们的性能。

本文的亮点包括：1.使用两个来自中风患者的独特音频数据集进行实验；2.比较了多种音频分类模型，并发现CNN可以在小数据集上与变压器模型相匹配或超越它们的性能；3.作者发现RGB和灰度图谱转换会根据它们从预训练中学到的先验知识对模型性能产生不同的影响；4.本文的研究对于依赖音频分类的临床诊断提供了宝贵的见解。

在这个领域中，最近的相关研究包括：1.《基于CNN的音频分类：从数据增强到模型比较》；2.《使用深度学习进行音频分类的综述》；3.《在小数据集上进行音频分类的挑战和机会》。