Demystify Mamba in Vision: A Linear Attention Perspective

本文介绍了一种名为Mamba的有效状态空间模型，其计算复杂度为线性。最近，Mamba在处理各种视觉任务中的高分辨率输入方面表现出了出色的效率。本文揭示了强大的Mamba模型与线性注意力Transformer之间惊人的相似之处，后者通常在实践中表现不佳。通过探索有效的Mamba和次优的线性注意力Transformer之间的相似性和差异，我们提供了全面的分析，以揭示Mamba成功背后的关键因素。具体而言，我们在一个统一的公式中重新定义了选择性状态空间模型和线性注意力，将Mamba重新表述为线性注意力Transformer的一种变体，具有六个主要区别：输入门、遗忘门、快捷方式、无注意力归一化、单头和修改的块设计。针对每种设计，我们都仔细分析了其优缺点，并在视觉任务中经验性地评估了其对模型性能的影响。有趣的是，结果表明，遗忘门和块设计是Mamba成功的核心贡献者，而其他四个设计则不太重要。基于这些发现，我们提出了一种名为MLLA的Mamba-Like线性注意力模型，将这两个关键设计的优点融合到线性注意力中。所得到的模型在图像分类和高分辨率密集预测任务中优于各种视觉Mamba模型，同时享有可并行化的计算和快速的推理速度。代码可在https://github.com/LeapLabTHU/MLLA上获得。

本文旨在揭示Mamba模型的成功之处，并提出一种新的Mamba-Like Linear Attention (MLLA)模型，以解决高分辨率视觉任务中的问题。

本文将Mamba模型和线性注意力Transformer进行比较，发现Mamba模型的成功在于遗忘门和块设计，然后将这些关键设计融入线性注意力中，提出MLLA模型。

本文的亮点包括：1. 将Mamba模型和线性注意力Transformer进行比较，揭示Mamba模型的成功之处。2. 提出MLLA模型，其在图像分类和高分辨率密集预测任务中均表现出色。3. 实验结果表明，遗忘门和块设计是Mamba模型成功的关键因素。4. 代码已在GitHub上开源。

最近的相关研究包括：1. Transformer模型在计算机视觉中的应用，如DETR、ViT等。2. 基于注意力机制的其他模型，如SAN、Non-Local等。