Mamba or RWKV: Exploring High-Quality and High-Efficiency Segment Anything Model

本文旨在探究不同的线性注意力架构，以设计出一种高效的分割模型，以应对高分辨率图像的推断挑战。最近，一些线性注意力架构，如Mamba和RWKV，因其能够高效处理长序列而备受关注。具体而言，我们设计了一个混合的骨干网络，其中包含卷积和RWKV操作，既能在准确性上取得最佳表现，又能在效率上取得最佳表现。此外，我们设计了一个高效的解码器，利用多尺度令牌获得高质量的掩模。我们将我们的方法称为RWKV-SAM，是一种简单、有效、快速的SAM-like模型基线。此外，我们建立了一个包含各种高质量分割数据集的基准，并使用该基准共同训练一个高效且高质量的分割模型。根据基准结果，与变压器和其他线性注意力模型相比，我们的RWKV-SAM在效率和分割质量方面均表现出色。例如，与同尺度的变压器模型相比，RWKV-SAM实现了超过2倍的加速，并且能够在各种数据集上实现更好的分割性能。此外，RWKV-SAM在分类和语义分割结果方面优于最近的Mamba模型。代码和模型将公开发布。

本论文旨在设计一种高效的分割模型，解决基于Transformer的分割方法在处理高分辨率图像时的效率问题。

论文提出了一种混合骨干网络，包含卷积和RWKV操作，同时设计了一个高效的解码器，利用多尺度信息生成高质量的掩模。在多个高质量分割数据集上进行了训练和测试，结果表明RWKV-SAM模型在效率和分割质量方面均优于Transformer和其他线性注意力模型。

论文的亮点包括：提出了一种混合骨干网络和高效的解码器，设计了一个高质量分割数据集用于训练和测试，证明了RWKV-SAM模型在效率和分割质量方面的优越性。论文提供了开源代码和模型。

最近的相关研究包括Mamba和RWKV等线性注意力模型的研究。