Joint-Individual Fusion Structure with Fusion Attention Module for Multi-Modal Skin Cancer Classification

大多数基于卷积神经网络(CNN)的皮肤癌分类方法仅使用皮肤科图像来获得结果。虽然已经显示出良好的分类结果，但通过考虑患者的元数据，可以获得更准确的结果，这是皮肤科医生宝贵的临床信息。目前的方法仅使用简单的联合融合结构(FS)和融合模块(FMs)进行多模态分类方法，但通过探索更先进的FS和FM，仍有提高准确性的空间。因此，在本文中，我们从FS和FM的角度设计了一种新的融合方法，将皮肤科图像(皮肤镜图像或临床图像)和患者元数据结合起来进行皮肤癌分类。首先，我们提出了一种联合-个体融合(JIF)结构，学习多模态数据的共享特征并同时保留特定特征。其次，我们引入了融合注意力(FA)模块，基于自身和相互关注机制增强最相关的图像和元数据特征，以支持决策流程。我们在三个不同的公共数据集上将所提出的JIF-MMFA方法与其他最先进的融合方法进行比较。结果表明，我们的JIF-MMFA方法提高了所有测试的CNN骨干网络的分类结果，并在三个公共数据集上表现优于其他融合方法，证明了我们的方法的有效性和鲁棒性。

本文旨在从FS和FM的角度，结合患者的元数据和皮肤病图像，提高皮肤癌分类的准确性。当前的方法只使用皮肤病图像进行分类，而忽略了患者的元数据，因此本文试图探索更高级的FS和FM方法，以提高分类的准确性。

本文提出了一种新的融合方法，结合了皮肤病图像和患者元数据，从JIF和FA模块的角度进行分类。JIF结构学习多模态数据的共享特征和同时保留特定特征，FA模块通过自注意力和相互注意力机制增强最相关的图像和元数据特征，支持决策流程。

本文对三个公共数据集进行了实验，比较了所提出的JIF-MMFA方法和其他现有的融合方法。实验结果表明，JIF-MMFA方法在所有测试的CNN骨干网络上都提高了分类结果，并且在三个公共数据集上表现比其他融合方法更好。

最近的相关研究包括基于CNN的皮肤癌分类方法，以及结合元数据进行分类的方法。例如，一些研究使用CNN对皮肤病图像进行分类，其他研究利用患者的元数据进行分类。