PRISM: A Multi-Modal Generative Foundation Model for Slide-Level Histopathology

计算机病理学中的基础模型承诺能够推动新的临床决策支持系统和精准医学模型的发展。然而，大多数临床分析是在一个或多个全幅切片图像的层面上定义的，而迄今为止的基础模型则是分别处理包含在一个全幅切片图像中的成千上万个图像块。训练网络以跨多个全幅切片图像聚合信息的要求限制了这些模型的影响。在本文中，我们提出了一种针对H&E染色组织病理学的全幅切片基础模型PRISM，该模型建立在Virchow图块嵌入上，并利用临床报告文本进行预训练。使用图块嵌入，PRISM生成具有生成临床报告能力的全幅切片嵌入，从而产生了多种使用模式。使用文本提示，PRISM实现了零样本癌症检测和亚型分类性能，接近甚至超过了监督聚合模型。使用线性分类器与全幅切片嵌入，PRISM超越了监督聚合模型。此外，我们还证明了对PRISM全幅切片编码器进行微调可以实现标签有效的生物标志物预测训练，这是一个通常受到训练数据可用性限制的任务；一个使用PRISM初始化并在仅使用10%的训练数据进行训练的聚合器可以胜过使用所有数据的监督基线。

本文试图解决计算病理学中基础模型与临床分析之间的不匹配问题，提出一种能够处理整个切片图像的基于Virchow平铺嵌入和临床报告文本预训练的幻灯片级基础模型PRISM。

本文提出的PRISM模型利用Virchow平铺嵌入和临床报告文本预训练，生成具有生成临床报告能力的幻灯片级嵌入，可用于零样本癌症检测和亚型分类，以及生物标志物预测任务的标签高效训练。

本文的亮点包括：提出了能够处理整个切片图像的基于Virchow平铺嵌入和临床报告文本预训练的幻灯片级基础模型PRISM；使用PRISM进行零样本癌症检测和亚型分类，性能超过监督聚合器模型；使用PRISM幻灯片嵌入和线性分类器，性能超过监督聚合器模型；PRISM幻灯片编码器的微调可用于标签高效训练的生物标志物预测任务。

最近的相关研究包括：1. "Deep learning-based histopathologic assessment of kidney tissue"；2. "Transforming pathology with AI: machine learning, computer vision, and beyond"；3. "A deep learning-based strategy for identifying and associating mitotic figures in breast cancer histopathology images"。