Multimodal Whole Slide Foundation Model for Pathology

计算病理学领域已经因最近的基础模型的发展而发生了变革，这些模型通过自监督学习（SSL）将组织病理学感兴趣区域（ROIs）编码为多功能且可迁移的特征表示。然而，将这些进展转化为解决患者和切片层面的复杂临床挑战仍然受到特定疾病队列中有限临床数据的限制，尤其是对于罕见临床条件。我们提出了TITAN，这是一种多模态的全切片基础模型，通过视觉自监督学习和与病理报告及423,122条由多模态生成AI助手为病理学生成的合成字幕的视觉-语言对齐，使用335,645个全切片图像（WSIs）进行预训练。无需任何微调或临床标签，TITAN可以提取通用的切片表示，并生成适用于资源受限临床场景的病理报告，例如罕见疾病检索和癌症预后。我们在多样化的临床任务上评估了TITAN，发现TITAN在各种机器学习设置下，如线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索以及病理报告生成等方面，均优于ROI和切片基础模型。

该论文旨在解决计算病理学中，如何利用大规模预训练模型在有限临床数据条件下应对复杂临床挑战的问题，特别是对于罕见疾病等资源受限的临床场景。

论文提出了TITAN，一个多模态全切片基础模型，通过视觉自监督学习和视觉-语言对齐进行预训练。TITAN结合了335,645个全切片图像（WSIs）和423,122个合成字幕，无需微调或临床标签即可提取通用的切片表示并生成病理报告。这一方法在处理罕见疾病检索和癌症预后等任务时表现突出。

1. 使用大规模数据集进行预训练，包括335,645个全切片图像和423,122个合成字幕。 2. 不需要微调或临床标签即可生成高质量的病理报告。 3. 在多种临床任务上进行了评估，如线性探测、少样本和零样本分类、罕见癌症检索和跨模态检索。 4. 开源代码和数据集有助于进一步研究。

1. "Self-Supervised Learning for Histopathology Image Analysis" 2. "Multimodal Representation Learning for Pathology Report Generation" 3. "Cross-Modal Retrieval in Medical Imaging using Deep Learning" 4. "Rare Disease Detection using Large-Scale Pretrained Models"