Multi-modal Evidential Fusion Network for Trusted PET/CT Tumor Segmentation

PET/CT图像中肿瘤的准确分割对于计算机辅助诊断和治疗癌症非常重要。这种分割问题的关键在于有效地整合PET和CT图像的互补信息。然而，在临床环境中，PET和CT图像的质量差异很大，这导致网络提取的模态信息存在不确定性。为了考虑多模态信息融合中的不确定性，本文提出了一种新颖的多模态证据融合网络（MEFN），包括交叉模态特征学习（CFL）模块和多模态可信融合（MTF）模块。CFL模块减少了模态转换时的域差异，突出了常见的肿瘤特征，从而减轻了分割模块处理模态特异性的需求。MTF模块利用相互关注机制和不确定性校准器，基于模态不确定性融合模态特征，然后在Dempster-Shafer理论的指导下融合分割结果。此外，引入了新的不确定性感知损失，强制模型关注不确定的特征，从而提高其提取可信模态信息的能力。我们在两个公开的PET/CT数据集上进行了广泛的比较实验，评估了我们提出的方法的性能。结果表明，我们的MEFN在AutoPET数据集和Hecktor数据集上的DSC分数分别提高了2.15％和3.23％，显著优于现有的最先进方法。更重要的是，我们的模型可以为放射科医生提供可信的分割结果不确定性，以便在接受或拒绝自动分割结果时做出决策，这对于临床应用非常重要。我们的代码可在https://github.com/QPaws/MEFN上获得。

多模态PET/CT图像肿瘤分割中存在的模态不确定性问题如何解决？

提出了一种新的多模态证据融合网络（MEFN），包括CFL模块和MTF模块，通过降低模态转换的领域差异，利用互相关注机制和不确定性校准器融合模态特征，并在Dempster-Shafer理论的指导下融合分割结果。同时引入了新的不确定性感知损失来提高模型提取可信模态信息的能力。

实验结果表明，MEFN在两个公开数据集上都优于当前最先进的方法，并且能够提供可信的分割结果不确定性，这对于临床应用非常重要。论文提供了开源代码。

相关研究包括：\"Multi-modal Medical Image Fusion: A Survey\"、\"A Survey on Deep Learning in Medical Image Analysis\"等。