PRISM: A Multi-Modal Generative Foundation Model for Slide-Level Histopathology

计算病理学中的基础模型有望开发新的临床决策支持系统和精准医学模型。然而，大多数临床分析是在一个或多个全幻灯片图像的层面上定义的，而迄今为止的基础模型则处理单独的成千上万的图像块。需要训练一个网络来聚合多个全幻灯片图像中大量图像块的信息，这限制了这些模型的影响。在这项工作中，我们提出了一种用于H&E染色组织病理学的幻灯片级基础模型PRISM，它建立在Virchow图块嵌入的基础上，并利用临床报告文本进行预训练。使用图块嵌入，PRISM生成具有生成临床报告能力的幻灯片级嵌入，从而产生了几种使用模式。使用文本提示，PRISM实现了零-shot癌症检测和亚型分类性能，接近并超过了监督聚合模型。使用幻灯片嵌入和线性分类器，PRISM超过了监督聚合模型。此外，我们证明了PRISM幻灯片编码器的微调可以为生物标志物预测提供标签高效的训练，这通常是由于训练数据的可用性较低而受到影响的任务。使用PRISM初始化的聚合器，在仅使用10%的训练数据的情况下，可以胜过使用所有数据的监督基线。

本文针对基于整张组织切片图像的临床分析，提出了一个解决方案，即在整张图像级别上建立基础模型，并利用Virchow瓷砖嵌入和临床报告文本进行预训练，以提高对癌症检测和生物标志物预测的准确性。

本文提出了一种基于Virchow瓷砖嵌入和临床报告文本预训练的整张图像级别基础模型PRISM，可以用于癌症检测和生物标志物预测，且在使用小样本数据时也能取得较好的效果。

本文的亮点包括：1.提出了一种基于整张图像级别的基础模型PRISM，可以用于癌症检测和生物标志物预测；2.利用Virchow瓷砖嵌入和临床报告文本进行预训练，提高了模型的准确性；3.使用小样本数据时也能取得较好的效果；4.实验结果表明，PRISM的癌症检测和生物标志物预测性能均优于监督聚合模型。

相关研究包括：1.利用深度学习进行组织学图像分析的研究；2.利用瓷砖嵌入进行组织学图像分析的研究；3.基于整张组织切片图像的癌症检测和生物标志物预测的研究。