Tuning In: Analysis of Audio Classifier Performance in Clinical Settings with Limited Data

本研究评估了在临床环境下使用深度学习模型进行音频分类的效果，同时考虑到小数据集的限制，反映了现实世界中的前瞻性数据收集。我们分析了包括DenseNet和ConvNeXt在内的CNN模型，以及Transformer模型，如ViT、SWIN和AST，并将它们与预训练的音频模型，如YAMNet和VGGish进行比较。我们的方法强调了在特定临床数据微调之前在大型数据集上进行预训练的好处。我们前瞻性地收集了两个首次出现的中风患者音频数据集。我们研究了各种预处理技术，发现基于它们从预训练中学到的先验知识，RGB和灰度光谱图转换会对模型性能产生不同的影响。我们的研究结果表明，在小数据集环境下，CNN模型可以与Transformer模型相匹配甚至超过，其中DenseNet-Contrastive和AST模型表现突出。本研究强调了通过模型选择、预训练和预处理实现逐渐边际收益的重要性，这为依赖音频分类的临床诊断提供了有价值的见解。

本篇论文旨在研究如何在临床环境下，利用小数据集训练深度学习模型进行音频分类。同时，探究预训练模型在特定临床数据微调之前在大型数据集上的效果。

论文比较了不同类型的深度学习模型，包括CNNs，transformer模型和预训练的音频模型，并发现CNNs在小数据集上的表现可以与或超过transformer模型。同时，作者发现预处理技术对模型的影响也很大。

本研究使用了两个来自中风患者的音频数据集，分别进行了RGB和灰度谱图转换的预处理。作者发现CNNs可以在小数据集上匹配或超过transformer模型，DenseNet-Contrastive和AST模型表现尤其出色。该研究强调了模型选择、预训练和预处理在音频分类中的重要性。

最近的相关研究包括“Learning Representations from EEG with Deep Recurrent-Convolutional Neural Networks”和“Automatic Detection of COVID-19 Using X-ray Images and Deep Convolutional Neural Networks”。