Rene: A Pre-trained Multi-modal Architecture for Auscultation of Respiratory Diseases

与需要组织取样的侵入性检查相比，呼吸音测试是一种无创的检查方法，更安全、更易于接受。在本研究中，我们介绍了一种面向呼吸音识别的开创性大规模模型Rene。Rene经过严格的微调，使用广泛的呼吸音频样本数据集，针对疾病检测、声音模式分类和事件识别等方面进行了优化。我们的创新方法是将预先训练的语音识别模型应用于呼吸音处理，并结合患者的医疗记录。由此产生的多模态深度学习框架解决了以往呼吸系统模型中存在的可解释性和实时诊断挑战。基准比较表明，Rene在SPRSound数据库上的呼吸事件检测和音频分类方面的表现明显优于现有模型，分别提高了10.27%、16.15%、15.29%和18.90%。在ICBHI数据库上，疾病预测准确率在平均得分和谐波得分方面均比基线提高了23%。此外，我们还开发了一种利用Rene架构的实时呼吸音辨别系统。采用最先进的边缘人工智能技术，该系统可以快速准确地响应呼吸音听诊（https://github.com/zpforlove/Rene）。

论文旨在解决通过呼吸音检测呼吸系统疾病的问题，并提出了一种新的多模态深度学习框架。

论文的关键思路是使用经过预训练的语音识别模型处理呼吸音，并结合患者医疗记录，实现呼吸音的疾病检测、声音模式分类和事件识别。

论文使用了包含广泛呼吸音样本的数据集进行严格的微调和实验设计，并开发了一个基于Rene架构的实时呼吸音鉴别系统。实验结果表明，Rene在呼吸事件检测和音频分类方面的性能明显优于现有模型，并在ICBHI数据库中的疾病预测准确率提高了23%。

与此相关的研究包括：1.基于深度学习的呼吸音识别方法；2.利用传统信号处理技术进行呼吸音分析的方法；3.使用机器学习算法进行呼吸音分类的方法等。