Multimodal Prototyping for cancer survival prediction

多模态生存分析方法结合千亿级组织学全切片图像和转录组学数据对患者预后和分层具有特别的潜力。目前的方法涉及将全切片图像分割成较小的块（> 10,000个块）和将转录组学数据分组，然后使用Transformer将它们整合起来以预测结果。然而，这个过程生成了许多标记，导致计算注意力时需要高内存要求，并且复杂化了事后可解释性分析。相反，我们假设我们可以：（1）通过使用形态原型压缩其组成标记来有效地总结WSI的形态内容，实现超过300倍的压缩；并且（2）使用生物通路原型对转录组数据进行编码，以无监督的方式准确地表征细胞功能。然后，通过融合网络处理多模态标记，可以使用Transformer或最优传输交叉对齐，现在操作的标记数量很少且固定，而不需要近似。对六种癌症类型进行的广泛评估表明，我们的框架在比较少的计算量下优于最先进的方法，同时解锁了新的可解释性分析。

本论文旨在解决病人预后和分层方面的问题，通过结合gigapixel组织学WSI和转录组学的多模态生存方法。当前的方法存在大量的tokens，导致计算注意力时需要高内存需求，并且对后续的解释性分析也会产生困难。

论文提出了一种新的方法，通过使用形态原型来压缩WSI的tokens，同时使用生物通路原型来编码转录组数据，进而生成多模态tokens。这些tokens可以通过一个融合网络进行处理，使用Transformer或最优传输交叉对齐，从而在保证准确性的同时，大大降低计算复杂度。

论文的实验结果表明，这种方法在六种不同类型的癌症中表现出色，比现有的方法更加高效，并且可以进行更多的解释性分析。论文还提供了数据集和开源代码，以供进一步研究使用。

在这个领域中，最近的一些相关研究包括“DeepSurv: personalized treatment recommender system using a Cox proportional hazards deep neural network”和“Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases”。