SAM-MIL: A Spatial Contextual Aware Multiple Instance Learning Approach for Whole Slide Image Classification

多示例学习（MIL）是全切片图像（WSI）分类中主要的框架，涵盖了子类型、诊断等方面。目前，现有的MIL模型主要依赖于预训练模型（如ResNet）提取的实例级特征。这些模型将每个WSI分割成独立的补丁，并从这些本地补丁中提取特征，导致全局空间上下文的显著丢失，限制了模型的重点仅局限于本地特征。为了解决这个问题，我们提出了一种新的MIL框架，名为SAM-MIL，强调空间上下文感知，并通过提取全面的图像级信息来明确地融合空间上下文。Segment Anything Model（SAM）是一种开创性的视觉分割基础模型，可以捕捉分割特征，无需额外的微调，从而成为从原始WSI中直接提取空间上下文的优秀工具。我们的方法包括基于空间上下文的组特征提取设计和SAM引导的组掩蔽策略，以缓解类别不平衡问题。我们实现了不同分割类别的动态掩蔽比率，并补充了类别的代表性组特征。此外，SAM-MIL将实例划分为生成额外的伪包，从而增加训练集，并引入跨伪包的空间上下文一致性，进一步提高模型的性能。在CAMELYON-16和TCGA肺癌数据集上的实验结果表明，我们提出的SAM-MIL模型在WSI分类中优于现有的主流方法。我们的开源实现代码可在https://github.com/FangHeng/SAM-MIL上获得。

本论文旨在解决全幻灯片图像分类中由于过度依赖局部特征导致丢失全局空间上下文信息的问题，提出一种新的MIL框架SAM-MIL。

SAM-MIL框架通过引入SAM模型提取全局空间上下文信息，设计组特征提取方法和SAM引导组掩蔽策略以缓解类别不平衡问题，并引入伪包策略增强模型性能。

论文在CAMELYON-16和TCGA肺癌数据集上进行实验，证明SAM-MIL模型在WSI分类任务上优于现有主流方法。同时，作者开源了实现代码。

在全幻灯片图像分类领域，目前主流方法是基于MIL框架和局部特征提取的方法，如DeepMIL、MIL-nDC、MIL-nAS等。