Tuning In: Analysis of Audio Classifier Performance in Clinical Settings with Limited Data

本研究评估了在临床设置中使用深度学习模型进行音频分类的效果，同时考虑到小数据集对真实世界前瞻性数据收集的限制。我们分析了包括DenseNet和ConvNeXt在内的CNN模型，以及像ViT、SWIN和AST这样的变换器模型，并将它们与预先训练的音频模型（如YAMNet和VGGish）进行比较。我们的方法强调了在特定临床数据微调之前在大型数据集上进行预训练的好处。我们从中风患者那里前瞻性收集了两个首次出现的患者音频数据集。我们研究了各种预处理技术，发现RGB和灰度光谱图转换根据它们从预训练中学到的先验知识以不同的方式影响模型性能。我们的研究结果表明，在小数据集环境下，CNN可以匹配或超越变换器模型，其中DenseNet-Contrastive和AST模型表现突出。本研究强调了模型选择、预训练和预处理在声音分类中的递增边际收益的重要性，这为依赖于音频分类的临床诊断提供了有价值的见解。

本论文旨在解决临床环境下小数据集音频分类的问题，并验证预训练模型在特定临床数据微调前的重要性。

论文比较了不同类型的深度学习模型在小数据集环境下的性能，发现预训练模型可以在微调后显著提高模型性能。此外，论文还探讨了不同预处理技术对模型性能的影响。

论文使用了两个来自中风患者的独特音频数据集，比较了多种深度学习模型的性能。实验结果表明，DenseNet-Contrastive和AST模型在小数据集环境下表现出色。此外，论文还探讨了预处理技术对模型性能的影响，并探讨了模型选择和预训练的重要性。

与本论文相关的研究包括使用深度学习模型进行音频分类的其他研究，如使用CNN和transformer模型进行音频分类的研究。