Confidence-aware multi-modality learning for eye disease screening

多模态眼科图像分类在诊断眼部疾病中起着关键作用，因为它整合了来自不同来源的信息，以补充它们各自的性能。然而，最近的改进主要集中在准确性上，往往忽视了对不同模态预测的置信度和鲁棒性的重要性。在本研究中，我们提出了一种新的多模态证据融合流程，用于眼部疾病筛查。它为每种模态提供置信度度量，并使用多分布融合视角优雅地集成多模态信息。具体而言，我们的方法首先利用正态逆伽玛先验分布来学习单模态的aleatoric和epistemic不确定性。然后，正态逆伽玛分布被分析为学生t分布。此外，在置信度感知融合框架内，我们提出了一种学生t分布混合模型，以有效地集成不同的模态，赋予模型重尾特性，增强其鲁棒性和可靠性。更重要的是，置信度感知的多模态排名正则化项使模型更合理地排名噪声单模态和融合模态的置信度，从而提高了可靠性和准确性。公开和内部数据集上的实验结果表明，我们的模型在鲁棒性方面表现出色，尤其是在涉及高斯噪声和模态缺失条件的挑战性场景中。此外，我们的模型展现了强大的泛化能力，适用于分布外数据，突显其作为多模态眼部疾病筛查的有前途的解决方案的潜力。

本文旨在解决多模式眼科图像分类中的可靠性和鲁棒性问题，提出了一种新的多模态证据融合方法。

该方法使用正态逆伽玛先验分布来学习单模态的不确定性，并将其作为学习多模态信息的基础。同时，使用学生t分布来融合不同模态的信息，增强模型的鲁棒性和可靠性。

该方法在公共和内部数据集上的实验结果表明其在鲁棒性方面表现优异，尤其是在高斯噪声和模态缺失条件下。模型还具有强大的泛化能力，适用于不同的数据分布。值得进一步研究。

与本文相关的研究包括：1. Multi-modal Deep Learning for Segmentation of Intra-oral and Cervical Lymph Nodes from CT and MRI; 2. A survey on deep learning in medical image analysis; 3. Multi-modal medical image fusion using deep learning approaches.