MambaOut: Do We Really Need Mamba for Vision?

本文介绍了一种名为Mamba的架构，它采用了RNN类的状态空间模型（SSM）的标记混合器来解决注意机制的二次复杂度问题，并随后应用于视觉任务。然而，与卷积和基于注意力的模型相比，Mamba在视觉任务中的性能通常不尽如人意。本文深入探讨了Mamba的本质，并从概念上得出结论，即Mamba非常适合具有长序列和自回归特征的任务。对于视觉任务，由于图像分类不符合这两种特征，我们假设Mamba对于这个任务是不必要的；检测和分割任务也不是自回归的，但它们符合长序列特征，因此我们认为探索Mamba在这些任务中的潜力仍然是值得的。为了实证我们的假设，我们构建了一系列名为MambaOut的模型，通过堆叠Mamba块并删除它们的核心标记混合器SSM来构建。实验结果强烈支持我们的假设。具体而言，我们的MambaOut模型在ImageNet图像分类中超过了所有视觉Mamba模型，表明Mamba在这个任务中确实是不必要的。至于检测和分割，MambaOut无法达到最先进的视觉Mamba模型的性能，这表明Mamba在长序列视觉任务中具有潜力。代码可在https://github.com/yuweihao/MambaOut上获得。

论文旨在探讨Mamba在视觉任务中的适用性，是否可以替代卷积和注意力机制模型来解决视觉任务？

Mamba适用于具有长序列和自回归特性的任务，但在图像分类任务中并不适用。对于检测和分割任务，Mamba仍具有潜在的应用价值。

通过构建MambaOut模型，实验证明Mamba在图像分类任务中是不必要的，但在检测和分割任务中具有潜在的应用价值。论文提供了开源代码并使用了ImageNet数据集。

最近的相关研究包括使用注意力机制的模型，如Transformer，以及基于卷积的模型，如ResNet。