Zero Shot Context-Based Object Segmentation using SLIP (SAM+CLIP)

我们提出了SLIP（SAM+CLIP），这是一种增强的零样本目标分割架构。SLIP结合了Segment Anything Model (SAM) \cite{kirillov2023segment}和Contrastive Language-Image Pretraining (CLIP) \cite{radford2021learning}。通过使用CLIP将文本提示合并到SAM中，SLIP使得在没有针对特定类别或类别的先前训练的情况下进行目标分割成为可能。我们在Pokemon数据集上对CLIP进行微调，使其学习有意义的图像-文本表示。SLIP展示了根据文本提示的上下文信息识别和分割图像中的对象的能力，扩展了SAM的多功能目标分割能力。我们的实验证明了SLIP架构在基于文本提示分割图像中的对象方面的有效性。将CLIP的文本-图像理解能力整合到SAM中扩展了原始架构的能力，实现了更加多功能和上下文感知的目标分割。

SLIP试图解决的问题是零样本目标分割。也就是不需要事先针对特定类别进行训练，通过结合SAM和CLIP模型，实现基于文本提示的目标分割。

SLIP通过结合SAM和CLIP模型，将文本提示引入SAM模型中，从而实现了基于文本提示的零样本目标分割。相比之前的研究，SLIP的关键思路在于将文本提示引入到目标分割中，从而扩展了SAM模型的功能。

论文使用了Pokemon数据集对CLIP模型进行fine-tune，提高了其图像-文本理解能力。通过实验，证明了SLIP模型在基于文本提示的目标分割任务中的有效性。SLIP模型的出现扩展了SAM模型的功能，可以实现更加灵活的目标分割。

与SLIP相关的研究包括SAM模型和CLIP模型。