ProtoSAM: One-Shot Medical Image Segmentation With Foundational Models

这项工作介绍了一个新的框架ProtoSAM，用于一次性医学图像分割。它将原型网络（用于少样本分割）与SAM（自然图像基础模型）相结合。所提出的方法使用带有DINOv2编码器的ALPnet原型网络创建初始的粗分割掩模。在提取初始掩模之后，提取提示，如点和边界框，然后将其输入到Segment Anything Model（SAM）中。在几个医学图像数据集上展示了最先进的结果，证明了使用单个图像示例（一次性）实现自动分割能力，而不需要对基础模型进行微调。我们的代码可在以下网址获得：https://github.com/levayz/ProtoSAM。

本文旨在提出一种新的框架ProtoSAM，用于一次性医学图像分割。该方法结合了原型网络和自然图像基础模型SAM的使用，用于少量样本分割。该论文试图解决使用单个图像示例（一次性）进行自动分割的问题，而无需对基础模型进行微调。

本文的关键思路是将原型网络与SAM模型相结合，使用原型网络提取初始分割掩码，然后使用SAM模型进行进一步的分割。与当前领域的研究相比，本文的思路通过结合两种不同的模型来解决一次性医学图像分割的问题，具有创新性。

本文的亮点包括：1.提出了一种新的框架ProtoSAM，用于一次性医学图像分割。2.使用原型网络和SAM模型相结合，实现了自动分割。3.在多个医学图像数据集上展示了最先进的结果。4.研究人员提供了开源代码。该工作为解决一次性医学图像分割问题提供了新思路。

在这个领域中，最近的相关研究包括：1. Few-shot medical image segmentation using prototype learning（使用原型学习进行少量样本医学图像分割）2. One-shot medical image segmentation using convolutional neural networks（使用卷积神经网络进行一次性医学图像分割）3. Medical image segmentation using transfer learning（使用迁移学习进行医学图像分割）