WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images

WSI-SAM 是一种在分割模型中具有重大进展的模型，具有强大的零样本能力和动态提示功能。然而，现有的医学 SAM 并不适用于整张切片图像的多尺度特性，限制了它们的有效性。为了解决这个缺点，我们提出了 WSI-SAM，使用多分辨率补丁为组织病理学图像增强了 SAM 的精确对象分割能力，同时保留了其原始的提示驱动设计、高效性和零样本适应性。为了充分利用预训练知识并最小化训练开销，我们保持 SAM 冻结，只引入最少的额外参数和计算。特别地，我们引入了高分辨率（HR）令牌、低分辨率（LR）令牌和双重掩码解码器。这个解码器将原始的 SAM 掩码解码器与轻量级融合模块集成在一起，集成多尺度的特征。我们不是独立地预测掩码，而是在中间层集成 HR 和 LR 令牌来跨多个分辨率共同学习相同对象的特征。实验表明，我们的 WSI-SAM 超越了现有的 SAM 和其变体。特别地，在乳管内癌（DCIS）分割任务和乳腺癌转移分割任务（CAMELYON16 数据集）上，我们的模型分别超过了 SAM 4.1 和 2.5 个百分点。代码将在 https://github.com/HongLiuuuuu/WSI-SAM 上公开。

论文旨在解决医学图像分割模型在全尺度图像（WSIs）上的限制问题，提出了WSI-SAM模型。

WSI-SAM模型通过使用多分辨率补丁进行精确对象分割，同时保留原始的提示驱动设计、高效性和零-shot可适应性。

WSI-SAM模型在乳腺癌DCIS分割任务和CAMELYON16数据集的乳腺癌转移分割任务上，相比现有的SAM及其变体，分别提高了4.1和2.5个百分点。论文提供了开源代码。

近期相关研究包括：'Multi-scale Attention with Dense Encoder for Histopathology Image Segmentation'，'Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases'等。