Pan-cancer Histopathology WSI Pre-training with Position-aware Masked Autoencoder

大规模预训练模型推动了组织病理学图像分析的发展。然而，现有的自监督组织病理学图像方法侧重于学习图像块特征，而对于WSI级别特征学习仍缺乏可用的预训练模型。本文提出了一种新的自监督学习框架，用于设计位置感知掩蔽自编码器（PAMA）进行泛癌WSI级别表示预训练。同时，我们提出了具有内核重新定位（KRO）策略和锚点丢失（AD）机制的位置感知交叉注意力（PACA）模块。KRO策略可以捕捉完整的语义结构，消除WSI中的歧义，AD有助于增强模型的鲁棒性和泛化能力。我们在来自多个器官的6个大规模数据集上评估了我们的方法，用于泛癌分类任务。结果证明了PAMA在泛癌WSI表示学习和预训练方面的泛化和区分能力。该方法还与\R{7}个WSI分析方法进行了比较。实验结果表明，我们提出的PAMA优于现有最先进方法。代码和检查点可在https://github.com/WkEEn/PAMA上获得。

本文旨在解决组织病理学图像分析中缺乏WSI级别特征学习的问题，提出了一种新的自监督学习框架PAMA进行pan-cancer WSI预训练。

论文提出了一种设计了位置感知掩码自编码器（PAMA）的自监督学习框架，用于pan-cancer WSI级别表示预训练，同时提出了位置感知交叉注意力（PACA）模块，其中包括核重新定向（KRO）策略和锚点丢弃（AD）机制。

本文的亮点包括：使用PAMA进行pan-cancer WSI预训练，提出了PACA模块，包括KRO策略和AD机制，实验评估了6个大规模数据集的效果，与7个WSI分析方法进行了比较，结果表明PAMA优于现有的方法。此外，作者提供了代码和检查点。

最近的相关研究包括：1. “Self-Supervised Learning for Whole-Slide Histopathological Image Analysis” 2. “End-to-end weakly-supervised semantic segmentation of whole slide histopathology images” 3. “Pathology image analysis using segmentation deep learning algorithms: a survey”