MDA: An Interpretable Multi-Modal Fusion with Missing Modalities and Intrinsic Noise

多模态融合在医疗数据研究中至关重要，通过结合多种模态实现全面理解疾病并提高诊断性能。然而，多模态融合面临挑战，包括捕捉模态之间的交互作用、解决缺失模态、处理错误的模态信息和确保可解释性。许多现有的研究人员倾向于为这些问题设计不同的解决方案，常常忽略它们之间的共性。本文提出了一种新的多模态融合框架，通过引入模态域注意力（MDA）实现对每个模态权重的自适应调整。它旨在促进多模态信息的融合，同时允许包含缺失的模态或固有噪声，从而增强多模态数据的表示。我们通过观察模态融合过程提供了准确度变化和MDA权重的可视化，对其可解释性进行了全面分析。在各种胃肠疾病基准测试中进行了大量实验，所提出的MDA即使在缺失模态和固有噪声存在的情况下仍保持高准确性。值得一提的是，MDA的可视化与现有临床研究关于不同疾病对各种模态的依赖性的结论高度一致。代码和数据集将会提供。

多模态融合在医疗数据研究中面临着许多挑战，如何解决不同模态之间的交互、缺失模态、错误模态信息以及可解释性等问题？

提出一种新的多模态融合框架，引入模态域注意力（MDA）来实现对每种模态权重的自适应调整，从而增强多模态数据的表征能力，同时允许包括缺失模态或内在噪声在内的信息融合，提高了多模态数据的表征能力。

实验结果表明，该方法在各种胃肠疾病基准测试中具有较高的准确性，即使存在缺失模态和内在噪声，也能保持较高的准确性。同时，该方法的可解释性得到了全面的分析，提供了准确性变化和MDA权重的可视化。研究还开源了代码和数据集。

近期的相关研究还有哪些？