MM-GTUNets: Unified Multi-Modal Graph Deep Learning for Brain Disorders Prediction

图深度学习（GDL）已经证明在预测基于人口的脑部疾病时具有卓越的表现，通过整合成像和非成像数据。然而，基于GDL的方法的有效性严重依赖于对多模式人口图的建模质量，并且随着图的规模增加而趋于下降。此外，这些方法通常将成像和非成像数据之间的交互限制在图中的节点-边交互中，忽略了复杂的模态间相关性，导致结果次优。为了克服这些挑战，我们提出了MM-GTUNets，这是一个端到端的基于图变换器的多模式图深度学习（MMGDL）框架，旨在预测大规模的脑部疾病。具体而言，为了有效利用与疾病相关的丰富多模态信息，我们引入了模态奖励表示学习（MRRL），它使用奖励系统自适应地构建人口图。此外，我们使用变分自编码器来重构与成像特征对齐的非成像特征的潜在表示。基于此，我们提出了自适应跨模态图学习（ACMGL），它通过利用图UNet和图变换器以及特征融合模块的统一GTUNet编码器来捕获关键的模态特定和模态共享特征。我们在两个公共多模态数据集ABIDE和ADHD-200上验证了我们的方法，证明了其在诊断BD方面的卓越性能。我们的代码可在https://github.com/NZWANG/MM-GTUNets获得。

提出了一个面向大规模脑部疾病预测的多模态图深度学习框架MM-GTUNets，旨在解决现有图深度学习方法在建模多模态人群图时的不足和规模扩大时性能下降的问题。

提出了Modality Reward Representation Learning (MRRL)和Adaptive Cross-Modal Graph Learning (ACMGL)两种方法，用于自适应构建人群图和跨模态特征融合。并且使用了Graph UNet和Graph Transformer两种结构进行编码和解码。

实验中使用了两个公共的多模态数据集ABIDE和ADHD-200进行验证，表明该方法在诊断脑部疾病方面具有较高的性能。并且作者提供了开源代码。

最近的相关研究包括：'Multi-modal brain MRI segmentation using adversarial training and graph convolutional networks'，'Multi-modal brain tumor segmentation using 3D deep convolutional neural network'等。