Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification

当前病理图像分析的多实例学习算法通常需要大量全幅切片图像进行有效训练，但在数据有限的情况下表现不佳。在临床设置中，由于患者隐私和罕见或新兴疾病的普遍性，病理切片的访问受到限制。少样本弱监督全幅切片分类的出现解决了有限切片数据和稀疏切片级标签的重要挑战。基于预训练模型（例如，CLIP）的快速学习似乎是这种情况下的一种有希望的方案；然而，当前该领域的研究有限，现有算法往往仅关注于补丁级提示或局限于语言提示。本文提出了一个增强了病理知识的多实例提示学习框架，即将视觉和文本先验知识集成到补丁和切片级提示中。训练过程采用静态和可学习提示的组合，有效地指导预训练模型的激活，并进一步促进关键病理模式的诊断。轻量级信使（自注意力）和摘要（注意力池化）层被引入到同一患者数据的补丁和切片之间的关系建模中。此外，对齐方式对比损失确保了补丁和切片的可学习视觉和文本提示之间的特征级对齐。我们的方法在三个具有挑战性的临床任务中表现出优异的性能，显著优于比较的少样本方法。

本文旨在解决病理图像分析中数据有限的问题，提出了一种基于多实例学习的病理图像分类方法，该方法结合了视觉和文本先验知识，通过使用静态和可学习的提示来指导预训练模型的激活。

本文的关键思路是将视觉和文本先验知识结合起来，通过使用静态和可学习的提示来指导预训练模型的激活，从而提高病理图像分类的准确性。

本文提出的方法在三个临床任务中表现出了优异的性能，并显著优于其他少样本学习方法。实验使用了多个数据集，并开源了代码。值得深入研究的是，本文提出的方法可以应用于其他医学图像的分类任务。

在最近的相关研究中，也有一些使用多实例学习方法进行医学图像分类的研究，例如《Multi-instance learning for medical image analysis》和《Weakly supervised multi-instance learning for medical image analysis》。