A Multimodal Knowledge-enhanced Whole-slide Pathology Foundation Model

计算病理学已经取得了显著进展，其中任务无关的基础模型提高了广泛的下游临床任务的性能。尽管表现有希望，但仍存在几个挑战。首先，先前的工作要么采用仅视觉或视觉-字幕数据，忽略了宝贵的病理报告和基因表达谱，它们分别为多种临床应用提供了不同的知识。其次，病理学基础模型的当前进展主要集中在补丁级别，补丁级别的预训练受限的上下文无法捕捉整张切片的模式。在这里，我们策划了最大的多模态数据集，包括H\&E诊断全切片图像及其相关的病理报告和RNA-Seq数据，共32种癌症类型的10,275名患者的26,169个切片级别的模态对。为了利用这些数据进行计算病理学，我们提出了一种新颖的全切片预训练范式，将多模态知识注入到病理学基础模型的全切片上下文中，称为Multimodal Self-TAught PRetraining（mSTAR）。所提出的范式革新了计算病理学的预训练工作流程，使病理学基础模型能够获取全切片上下文。据我们所知，这是首次尝试在幻灯片级别上结合多模态知识来增强病理学基础模型，将建模上下文从单模态知识扩展到多模态知识，从补丁级别扩展到切片级别。为了系统地评估mSTAR的能力，进行了广泛的实验，包括对43个子任务的7种不同类型的切片级别的单模态和多模态应用，形成了最大的下游任务范围。各种切片级别应用的平均性能一致地表明，与SOTA基础模型相比，mSTAR表现出显著的性能提升。

提出了一种名为mSTAR的整个切片预训练范式，以提高计算病理学的性能。该论文试图解决什么问题？

mSTAR通过在整个切片上注入多模态知识，将多模态知识从单模态知识和补丁级别扩展到整个切片级别，从而提高计算病理学的性能。

该论文提出了一个包含H&E诊断整个切片图像、病理学报告和RNA-Seq数据的多模态数据集，共26,169个切片级别模态对，覆盖了32种癌症类型。通过在多模态数据集上进行实验，证明了mSTAR相对于SOTA FM的显著性能提升，同时展示了mSTAR在7种不同类型的任务上的广泛应用。

最近的相关研究包括：1.使用病理学报告进行计算病理学的研究；2.使用RNA-Seq数据进行癌症分类的研究；3.使用多模态数据进行图像分类的研究。