MAS-SAM: Segment Any Marine Animal with Aggregated Features

最近，分割任何物体模型（SAM）在生成高质量的物体掩模和实现零样本图像分割方面表现出色。然而，作为一种通用的视觉模型，SAM主要是用大规模自然光图像进行训练的。在水下场景中，由于光的散射和吸收，它表现出了相当大的性能下降。同时，SAM解码器的简单性可能导致细粒度对象细节的丢失。为了解决上述问题，我们提出了一个名为MAS-SAM的海洋动物分割的新型特征学习框架，其中包括将有效的适配器集成到SAM的编码器中并构建金字塔形解码器。具体而言，我们首先为水下场景构建了一个带有效适配器的新SAM编码器。然后，我们引入了一个超图提取模块（HEM）来生成多尺度特征，进行全面的指导。最后，我们提出了一个渐进预测解码器（PPD）来聚合多尺度特征并预测最终的分割结果。当与融合注意力模块（FAM）结合使用时，我们的方法能够从全局上下文线索中提取更丰富的海洋信息，包括细粒度的局部细节。对四个公共MAS数据集的广泛实验表明，我们的MAS-SAM可以获得比其他典型分割方法更好的结果。源代码可在https://github.com/Drchip61/MAS-SAM上获取。

SAM模型在水下场景中表现不佳，且可能会丢失物体细节，本文旨在提出一种适用于海洋动物分割的新型特征学习框架MAS-SAM，以解决这些问题。

本文的关键思路是将有效的适配器集成到SAM的编码器中，并构建金字塔式解码器，引入超图提取模块（HEM）生成多尺度特征，最后提出渐进预测解码器（PPD）来聚合多尺度特征并预测最终分割结果。

本文实验表明，MAS-SAM在四个公共MAS数据集上的表现均优于其他典型分割方法。该方法使用了融合注意力模块（FAM）从全局上下文线索中提取更丰富的海洋信息以及细粒度的局部细节。论文提供了开源代码。

在这个领域中，最近的相关研究包括：1. Deep Residual Learning for Image Recognition；2. Mask R-CNN；3. U-Net: Convolutional Networks for Biomedical Image Segmentation。