SAMDA: Leveraging SAM on Few-Shot Domain Adaptation for Electronic Microscopy Segmentation

本文指出，传统的电子显微镜图像分割深度学习方法在样本和注释有限时通常会遭受低可转移性的问题，而大规模视觉基础模型在不同领域之间的转移更加稳健，但在微调时面临亚优化的问题。本文提出了一个新的少样本领域自适应框架SAMDA，它将“Segment Anything Model”（SAM）和nnUNet结合在嵌入空间中，以实现高可转移性和准确性。具体来说，我们选择基于Unet的网络作为“专家”组件，以有效地学习分割特征，并设计一个基于SAM的自适应模块作为“通用”组件进行领域转移。通过融合“通用”和“专家”组件，我们缓解了大规模视觉基础模型中复杂的预训练知识中的模态不平衡问题，以及传统神经网络中的可转移性挑战。我们在两个具有不同模态的电子显微镜图像数据集上评估了我们的模型，用于线粒体分割，目标领域的dice系数提高了6.7%。此外，仅使用一张注释图像时，基于SAM的适配器的性能明显优于nnUNet的10次少样本领域自适应。我们进一步验证了我们的模型在来自不同来源的四个MRI数据集上的泛化能力。

论文旨在解决电子显微镜图像分割中的迁移学习问题，即当样本和注释有限时，传统深度学习方法通常存在低可转移性，而大规模视觉基础模型在不同领域之间的转移更为稳健，但在微调下面临次优改进的挑战。

论文提出了一种新的少样本领域自适应框架SAMDA，它将Segment Anything Model（SAM）与nnUNet在嵌入空间中结合起来，以实现高可转移性和准确性。SAMDA通过将“通用”和“专家”组件融合在一起，缓解了大规模视觉基础模型中的模态失衡和传统神经网络中的可转移性挑战。

论文在两个电子显微图像数据集上进行了实验，证明了SAMDA在线粒体分割中的有效性，并使目标域的Dice系数提高了6.7％。此外，与nnUNet上的10-shot领域自适应相比，仅使用单个注释图像的SAMDA表现显著更好。该论文还在四个MRI数据集上验证了其泛化能力。

最近在这个领域中，还有一些相关的研究，例如Few-shot Learning for Electron Microscopy Image Segmentation using Pseudo-Annotated Images和Few-shot Learning for Electron Microscopy Image Segmentation using Pseudo-Annotated Images等。