SurvMamba: State Space Model with Multi-grained Multi-modal Interaction for Survival Prediction

多模态学习结合病理图像和基因组数据显著提高了生存预测的准确性。然而，现有方法尚未充分利用整个切片图像和转录组数据中固有的分层结构，这些结构可以得到更好的模态内表示和模态间集成。此外，许多现有研究试图通过注意力机制来改善多模态表示，但处理高维WSI和转录组数据时不可避免地导致高复杂度。最近，一种名为Mamba的结构化状态空间模型因其在低复杂度下建模长序列的卓越性能而成为一种有前途的方法。在本研究中，我们提出了一种名为SurvMamba的Mamba多粒度多模态交互模型用于生存预测。SurvMamba采用分层交互Mamba（HIM）模块实现，有助于在不同粒度上进行高效的模态内交互，从而捕捉更详细的局部特征以及丰富的全局表示。此外，使用交互融合Mamba（IFM）模块进行级联模态间交互融合，为生存预测产生更全面的特征。对五个TCGA数据集的全面评估表明，SurvMamba在性能和计算成本方面优于其他现有方法。

论文旨在解决结合病理图像和基因组数据进行生存预测的多模态学习问题，同时提高模型的效率和性能。

论文提出了一种基于Mamba的多粒度多模态交互模型（SurvMamba），其中包括Hierarchical Interaction Mamba（HIM）模块和Interaction Fusion Mamba（IFM）模块，用于提高模型的效率和准确性。

论文在五个TCGA数据集上进行了全面评估，证明SurvMamba在性能和计算成本方面优于其他现有方法。同时，论文提出的Mamba模型在处理高维WSI和转录组数据时具有低复杂度和优异性能。

最近的相关研究主要集中在注意力机制的改进和多模态学习的方法上，如Attention-based Multi-modal Learning for Medical Images和Multi-modal Deep Learning for Cervical Dysplasia Diagnosis。