MambaOut: Do We Really Need Mamba for Vision?

本文介绍了一种名为Mamba的架构，它采用了类似于循环神经网络的状态空间模型（SSM）中的令牌混合器来解决注意力机制的二次复杂度问题，并随后应用于视觉任务。然而，与卷积和基于注意力的模型相比，Mamba在视觉任务中的表现往往不尽如人意。本文深入探讨了Mamba的本质，并概念性地得出结论，即Mamba非常适合具有长序列和自回归特征的任务。对于图像分类这样既不符合长序列特征也不符合自回归特征的任务，我们假设Mamba并不必要；而对于检测和分割任务，虽然它们不是自回归的，但它们符合长序列的特征，因此我们认为探索Mamba在这些任务中的潜力仍然是值得的。为了验证我们的假设，我们构建了一系列名为MambaOut的模型，通过堆叠Mamba块并删除它们的核心令牌混合器SSM来实现。实验结果强烈支持了我们的假设。具体而言，我们的MambaOut模型在ImageNet图像分类任务上超过了所有视觉Mamba模型，表明Mamba在这个任务中确实是不必要的。至于检测和分割任务，MambaOut无法达到最先进的视觉Mamba模型的性能，但证明了Mamba在长序列视觉任务中的潜力。该代码可在https://github.com/yuweihao/MambaOut上获得。

论文试图探讨Mamba在视觉任务中的适用性，验证Mamba是否适用于长序列和自回归特征的任务，以及Mamba在图像分类、检测和分割任务中的表现。

Mamba适用于长序列和自回归特征的任务，但对于图像分类这种不符合这两个特征的任务，Mamba并不必要。检测和分割任务不是自回归的，但是符合长序列的特征，因此Mamba在这些任务中具有潜力。

论文构建了一系列模型MambaOut，通过去除核心的token mixer SSM来探究Mamba在不同任务中的表现。实验结果表明，对于图像分类任务，MambaOut模型的表现优于当前视觉Mamba模型，而对于检测和分割任务，MambaOut模型的表现不如当前视觉Mamba模型，这表明了Mamba在长序列视觉任务中具有潜力。

最近相关研究包括Transformer、ViT、Mixer等模型在视觉任务中的应用。