Comprehensive Multimodal Deep Learning Survival Prediction Enabled by a Transformer Architecture: A Multicenter Study in Glioblastoma

本研究旨在通过将MR图像、临床和分子病理数据整合到基于transformer的深度学习模型中，解决数据异质性和性能泛化性问题，从而改善胶质母细胞瘤的生存预测。我们提出并评估了一种基于transformer的非线性和非比例生存预测模型。该模型采用自监督学习技术，有效地编码高维MRI输入，使用交叉注意力与非成像数据进行整合。为了展示模型的泛化性，我们使用时间相关的一致性指数（Cdt）在两个训练设置中评估模型，使用三个独立的公共测试集：UPenn-GBM、UCSF-PDGM和RHUH-GBM。结果表明，所提出的transformer模型在成像和非成像数据方面均取得了良好的表现，有效地整合了两种模态以提高性能（UPenn-GBM测试集，成像Cdt为0.645，多模态Cdt为0.707），同时优于最先进的基于3D-CNN的后融合模型。在三个独立的多中心测试集中观察到了一致的性能，Cdt值分别为0.707（UPenn-GBM，内部测试集）、0.672（UCSF-PDGM，第一个外部测试集）和0.618（RHUH-GBM，第二个外部测试集）。该模型在所有三个数据集中实现了有利和不利生存患者的显著区分（logrank p值分别为1.9×10^-8、9.7×10^-3和1.2×10^-2）。总之，所提出的基于transformer的生存预测模型整合了来自不同输入模态的互补信息，相对于最先进的方法，有助于改善胶质母细胞瘤的生存预测。在不同机构中观察到了一致的性能，支持模型的泛化性。

本论文旨在通过将MRI图像、临床和分子病理数据集成到基于transformer的深度学习模型中，解决胶质母细胞瘤患者的生存预测问题。

本文提出了一种基于transformer的非线性、非比例生存预测模型，通过自监督学习技术对高维MRI输入进行编码，并使用交叉注意力将其与非成像数据进行整合。该模型在三个独立的公共测试集上进行评估，证明了其泛化性能。

本文提出的transformer模型在成像和非成像数据上均表现出色，有效整合了两种模态以提高性能，并在三个独立的多中心测试集中表现出一致的性能。实验结果证明了模型的泛化性能和有效性。

最近的相关研究包括使用3D-CNN的late-fusion模型和其他基于深度学习的模型。