TNF: Tri-branch Neural Fusion for Multimodal Medical Data Classification

本文介绍了一种名为Tri-branch Neural Fusion（TNF）的方法，旨在对多模态医学图像和表格数据进行分类。它还介绍了两种解决多模态分类中标签不一致的挑战的解决方案。传统的多模态医学数据分类方法通常依赖于单标签方法，通常合并来自两个不同输入模态的特征。当特征是互斥的或标签在模态之间不同时，这变得有问题，导致准确性降低。为了克服这个问题，我们的TNF方法实现了一个三分支框架，管理三个单独的输出：一个用于图像模态，另一个用于表格模态，第三个混合输出将图像和表格数据融合在一起。最终的决策是通过一个集成方法做出的，该方法整合了所有三个分支的可能性。我们通过广泛的实验证实了TNF的有效性，这些实验展示了它在多个数据集上的各种卷积神经网络和基于Transformer的架构中，相对于传统的融合和集成方法的优越性。

解决问题：该论文旨在解决多模态医学图像和表格数据分类中标签不一致的问题，提出了一种三分支神经融合（TNF）方法。

关键思路：TNF方法采用三个分支输出：一个用于图像模态，另一个用于表格模态，第三个混合输出用于融合图像和表格数据。通过集成所有三个分支的可能性来做出最终决策。与传统融合和集成方法相比，在多个卷积神经网络和基于Transformer的架构上，TNF方法证明了其优越性。

其他亮点：论文通过广泛的实验验证了TNF方法的有效性，并在多个数据集上展示了其在各种情况下的优越性。此外，该论文还提出了两种解决多模态分类中标签不一致的方法。

相关研究：最近在这个领域中，还有一些相关研究，例如“Multimodal Medical Image Classification using Deep Neural Networks”和“Multimodal Medical Image Fusion using Deep Learning Techniques”等。