Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM

作为水下情报的重要支柱，海洋动物分割（MAS）涉及在海洋环境中分割动物。先前的方法在提取长距离上下文特征方面表现不佳，并忽视离散像素之间的连通性。最近，分割任何东西模型（SAM）为一般分割任务提供了通用框架。不幸的是，由于训练使用自然图像，SAM没有从海洋图像中获得先验知识。此外，SAM的单位置提示非常不足以提供先前的指导。为了解决这些问题，我们提出了一种名为Dual-SAM的新型特征学习框架，用于高性能MAS。为此，我们首先引入了SAM范例的双重结构，以增强海洋图像的特征学习。然后，我们提出了一种多级耦合提示（MCP）策略，以指导全面的水下先前信息，并使用适配器增强SAM编码器的多级特征。随后，我们设计了一个扩张融合注意模块（DFAM），以逐步集成SAM编码器的多级特征。最后，我们提出了一个Criss-Cross连接性预测（C$^3$P）范例，以捕捉离散像素之间的相互连通性，而不是直接预测海洋动物的掩码。通过双解码器，它生成伪标签并实现互相监督，以获得互补的特征表示，从而在以前的技术上取得了显着的改进。广泛的实验验证了我们提出的方法在五个广泛使用的MAS数据集上实现了最先进的性能。 代码可在https://github.com/Drchip61/Dual_SAM上获得。

该论文旨在解决海洋动物分割中长距离上下文特征提取和像素之间连接性的问题。此外，该论文还试图利用海洋图像的先验知识来提高分割性能。

该论文提出了一种名为Dual-SAM的新型特征学习框架，通过SAM的范例引入了双重结构来增强海洋图像的特征学习。论文还提出了MCP策略，以指导全面的水下先验信息，并使用适配器增强SAM编码器的多级特征。DFAM逐步集成SAM编码器的多级特征，C3P范式捕捉离散像素之间的相互连接性。

该论文在五个广泛使用的MAS数据集上实现了最先进的性能。论文还提供了代码。

最近在这个领域中，还有一些相关的研究，例如：'Underwater Image Segmentation Based on Multi-Scale Feature Fusion Network and Improved Dense CRF'，'Underwater Image Segmentation Method Based on Improved U-Net'等。