SELECTOR: Heterogeneous graph network with convolutional masked autoencoder for multimodal robust prediction of cancer survival

准确预测癌症患者的生存率对于帮助临床医生制定适当的治疗计划、降低与癌症相关的医疗费用、显著提高患者的生活质量至关重要。多模态癌症患者生存预测提供了一种更全面、更精确的方法。然而，现有的方法仍然面临着与缺失多模态数据和模态内信息交互有关的挑战。本文介绍了SELECTOR，这是一种基于卷积掩码编码器的异构图感知网络，用于强大的多模态癌症患者生存预测。SELECTOR包括特征边重构、卷积掩码编码器、特征交叉融合和多模态生存预测模块。首先，我们构建了一个多模态异构图，并采用元路径方法进行特征边重构，确保从图边缘综合纳入特征信息并有效嵌入节点。为了减轻模态内缺失特征对预测精度的影响，我们设计了一个卷积掩码自编码器（CMAE）来处理特征重构后的异构图。随后，特征交叉融合模块促进了模态之间的通信，确保输出特征包含模态的所有特征和其他模态的相关信息。对TCGA的六个癌症数据集进行的广泛实验和分析表明，我们的方法在模态缺失和模态内信息确认的情况下都显著优于现有的最先进方法。我们的代码可在https://github.com/panliangrui/Selector上获得。

解决问题：论文旨在通过建立一个多模态预测癌症患者生存率的模型，解决现有方法中存在的缺失多模态数据和模态内信息交互的挑战。这是一个新问题。

关键思路：论文提出了一个名为SELECTOR的异构图感知网络，基于卷积掩码编码器，用于多模态预测癌症患者生存率。该方法包括特征边重建、卷积掩码编码器、特征交叉融合和多模态生存预测模块。主要思路是构建一个多模态异构图，并采用元路径方法进行特征边重建，确保从图边中综合特征信息并有效嵌入节点。为了减少模态内缺失特征对预测准确性的影响，作者设计了卷积掩码自编码器（CMAE）来处理特征重建后的异构图。接下来，特征交叉融合模块促进了模态之间的通信，确保输出特征包含模态的所有特征和其他模态的相关信息。

其他亮点：论文在六个TCGA癌症数据集上进行了广泛的实验和分析，表明该方法在模态缺失和模态内信息确认的情况下都显著优于现有方法。作者还提供了开源代码，可在https://github.com/panliangrui/Selector上获得。这项工作的亮点包括使用元路径方法进行特征边重建、使用卷积掩码自编码器处理缺失特征、实现跨模态特征交叉融合等。值得进一步研究的工作包括如何进一步提高模型的解释性和可解释性，以及如何将该方法应用于其他医疗领域。

相关研究：最近在这个领域中，还有一些相关的研究，如：1. Multi-modal deep learning for cervical dysplasia diagnosis from medical imaging and clinical data; 2. Multi-modal deep learning for pancreatic cancer diagnosis; 3. Multi-modal and multi-task learning for cervical cancer diagnosis。