MambaOut: Do We Really Need Mamba for Vision?

最近，一种名为Mamba的架构被引入，它具有类似于RNN的状态空间模型（SSM）的令牌混合器，旨在解决注意机制的二次复杂度，并随后应用于视觉任务。然而，与卷积和基于注意力的模型相比，Mamba在视觉方面的表现往往令人失望。在本文中，我们深入探讨了Mamba的本质，并从概念上得出结论，即Mamba非常适合具有长序列和自回归特征的任务。对于视觉任务，由于图像分类既不符合长序列特征，也不符合自回归特征，因此我们假设Mamba对于这个任务是不必要的。检测和分割任务也不是自回归的，但它们遵循长序列的特征，因此我们认为探索Mamba在这些任务中的潜力仍然是有价值的。为了实证我们的假设，我们构建了一系列模型，命名为MambaOut，通过堆叠Mamba块并去除它们的核心令牌混合器SSM。实验结果强烈支持我们的假设。具体而言，我们的MambaOut模型在ImageNet图像分类中超过了所有视觉Mamba模型，表明Mamba在这个任务中确实是不必要的。至于检测和分割，MambaOut无法匹配最先进的视觉Mamba模型的性能，表明Mamba在长序列视觉任务中具有潜力。代码可在https://github.com/yuweihao/MambaOut上获得。

论文试图探讨Mamba在视觉任务中的应用效果，并验证其是否适用于这类任务。

Mamba适用于具有长序列和自回归特征的任务，但对于视觉任务而言，其不适用于图像分类，但对于检测和分割等长序列任务仍有潜力。

通过构建MambaOut模型，实验证明Mamba在图像分类任务中不如卷积和注意力模型效果好；但在检测和分割等长序列任务中仍有潜力。代码已开源。

在当前领域中，还有其他相关研究，但论文未列举。