MAS-SAM: Segment Any Marine Animal with Aggregated Features

最近，分割任何物体模型（Segment Anything Model，SAM）在生成高质量物体掩模和实现零样本图像分割方面表现出色。然而，作为通用视觉模型，SAM 主要是通过大规模自然光图像进行训练的。在水下场景中，由于光的散射和吸收，它的性能会出现显著下降。同时，SAM 解码器的简单性可能会导致丢失细粒度的物体细节。为了解决上述问题，我们提出了一种名为 MAS-SAM 的新型特征学习框架，用于海洋动物分割，其中涉及将有效的适配器集成到 SAM 的编码器中，并构建一个金字塔形解码器。具体而言，我们首先为水下场景构建了一个带有效适配器的新 SAM 编码器。然后，我们引入了一个超图提取模块（HEM）来生成多尺度特征以进行全面的指导。最后，我们提出了一种渐进式预测解码器（PPD），用于聚合多尺度特征并预测最终的分割结果。当与融合注意力模块（FAM）结合使用时，我们的方法能够从全局上下文线索中提取更丰富的海洋信息，包括细粒度的局部细节。在四个公共 MAS 数据集上的广泛实验表明，我们的 MAS-SAM 可以比其他典型分割方法获得更好的结果。源代码可在 https://github.com/Drchip61/MAS-SAM 上获得。

本文旨在解决在水下场景下，Segment Anything Model (SAM) 在生成高质量的物体掩模和实现零样本图像分割方面表现不佳的问题，同时解决SAM解码器简单而导致丢失细节的问题。

本文提出了一种名为MAS-SAM的特征学习框架，通过在SAM的编码器中集成有效的适配器和构建金字塔解码器来解决上述问题。具体来说，作者首先构建了一个新的SAM编码器，用于水下场景，并引入了Hypermap Extraction Module (HEM)来生成多尺度特征。最后，作者提出了一个渐进预测解码器(PPD)来聚合多尺度特征并预测最终的分割结果。

本文的亮点包括使用MAS-SAM在四个公共MAS数据集上实现比其他典型分割方法更好的结果，以及使用Fusion Attention Module (FAM)从全局上下文线索中提取更丰富的海洋信息和细粒度局部细节。此外，作者提供了开源代码。

最近的相关研究包括：Deep Residual Learning for Image Recognition、Fully Convolutional Networks for Semantic Segmentation、U-Net: Convolutional Networks for Biomedical Image Segmentation等。