PLUTO: Pathology-Universal Transformer

病理学是组织的显微镜检查研究，病理学诊断通常是诊断疾病的医学金标准。病理图像为基于计算机视觉的分析提供了独特的挑战：单个病理全切片图像（WSI）的大小为千兆像素，并且通常包含跨多个分辨率的数十万到数百万个感兴趣的对象。在这项工作中，我们提出了PathoLogy通用转换器（PLUTO）：一种轻量级病理FM，它在来自多个站点的1.95亿个图像瓦片的多样数据集上进行预训练，并提取跨多个WSI尺度的有意义的表示，使得可以进行大量下游病理学任务。特别是，我们设计了任务特定的适应头，利用PLUTO的输出嵌入来处理跨越亚细胞到幻灯片尺度的任务，包括实例分割、瓷砖分类和幻灯片级别预测。我们在多个生物学相关任务、组织类型、分辨率、染色和扫描仪的多个外部和内部基准测试上比较了PLUTO的性能与其他最先进的方法。我们发现，与PLUTO相比，现有的特定任务基线和病理学特定基础模型的一些使用的数据集和模型大小相比都大了数个数量级。我们的发现为通用嵌入提供了通向支持病理图像分析的途径，并激发了对病理基础模型在数据多样性、架构改进、样本效率和实际部署能力方面的进一步探索。

本文旨在提出一种轻量级的病理学特征提取模型PLUTO，以解决病理学图像分析中的挑战，包括大规模和多尺度的图像数据，以及跨多个病理学任务的应用需求。

PLUTO是一个预训练的轻量级病理学特征提取模型，使用了多个数据集，可以提供多尺度的有意义的表示，针对不同的病理学任务，设计了特定的适应头，包括实例分割、图块分类和幻灯片级别预测。

实验结果表明，PLUTO在多个任务、组织类型、分辨率、染色和扫描仪的多个基准测试中表现出色，与现有的基线和基础模型相比，其性能相当甚至更好。此外，本文的研究还为病理学图像分析提供了一种通用的嵌入式方法，为未来的研究提供了启示。

最近在这个领域中，还有一些相关的研究，包括：1）使用深度学习进行病理学图像分析的方法；2）使用不同的数据集和模型进行病理学图像分析的研究；3）病理学图像分析的特定任务，如实例分割、分类和预测等。