Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding

本文介绍了一种名为H-SAM的模型，它是Segment Anything Model（SAM）的一个无提示适应版本，专门用于通过两阶段分层解码程序高效微调医学图像。在第一个阶段，H-SAM使用SAM的原始解码器生成先验概率掩模，指导第二个更复杂的解码过程。具体来说，本文提出了两个关键设计：1）一个类平衡的、掩模引导的自注意机制，解决了不平衡标签分布的问题，增强了图像嵌入；2）一个可学习的掩模交叉注意机制，基于先验掩模在不同图像区域之间调节相互作用。此外，H-SAM中包含的分层像素解码器增强了其捕捉细粒度和局部细节的能力。这种方法使SAM能够有效地整合学习到的医学先验知识，从而有助于在有限的样本情况下提高医学图像分割的适应性。我们的H-SAM在仅使用10%的2D切片的情况下，相比现有的无提示SAM变体，在多器官分割方面的平均Dice指数提高了4.78%。值得注意的是，H-SAM甚至在不使用任何未标记数据的情况下，也能够胜过依赖于广泛未标记训练数据的半监督模型。我们的代码可在https://github.com/Cccccczh404/H-SAM上找到。

本论文旨在解决医学图像分割中使用SAM模型需要大量训练成本和数据集的问题，提出了一种适用于医学图像的H-SAM模型，通过两阶段分层解码过程实现了高效的模型微调。

H-SAM模型采用SAM模型的原始解码器生成先验概率掩模，然后在第二阶段使用更复杂的解码过程，其中包括一个类平衡、掩模引导的自注意机制和一个可学习的掩模交叉注意机制，以及层次像素解码器，从而增强了模型在捕获细节方面的能力。

H-SAM模型在医学图像分割中表现出色，仅使用10％的2D切片就比现有的无提示SAM变体平均Dice指数提高了4.78％，甚至在没有使用任何未标记数据的情况下，也超过了依赖大量未标记训练数据的半监督模型。该论文开源了代码。

近期的相关研究包括：1）使用深度学习技术进行医学图像分割的研究；2）使用不同的注意力机制来增强模型性能的研究，例如自注意力机制和交叉注意力机制。