A Survey on Vision Mamba: Models, Applications and Challenges

Mamba是最近一种选择性结构化状态空间模型，对于长序列建模任务表现出色。Mamba通过全局感受野和动态加权，缓解了卷积神经网络的建模限制，并提供了类似于Transformer的先进建模能力。关键是，它在不产生Transformer通常伴随的二次计算复杂度的情况下实现了这一点。由于相对于前两种主流基础模型的优势，Mamba表现出成为视觉基础模型的巨大潜力。研究人员正在积极将Mamba应用于各种计算机视觉任务，导致出现了许多新兴的研究。为了跟上计算机视觉的快速发展，本文旨在提供对视觉Mamba方法的全面回顾。本文首先阐述了原始Mamba模型的公式。随后，我们对视觉Mamba的回顾深入探讨了几个代表性的骨干网络，以阐明视觉Mamba的核心见解。然后，我们使用不同的模态对相关工作进行分类，包括图像、视频、点云、多模态等。具体来说，对于图像应用，我们进一步将它们组织成不同的任务，以促进更有结构的讨论。最后，我们讨论了视觉Mamba的挑战和未来研究方向，为这个快速发展的领域的未来研究提供了见解。本文中回顾的视觉Mamba模型的全面列表可在https://github.com/Ruixxxx/Awesome-Vision-Mamba-Models上找到。

本论文旨在介绍Mamba模型在计算机视觉领域的应用，探讨Mamba模型在图像、视频、点云等不同模态下的应用情况，并提出未来的研究方向。

Mamba模型通过全局感受野和动态加权的方式，解决了卷积神经网络和Transformer模型在长序列建模任务上的限制，并且避免了Transformer模型通常具有的二次计算复杂度问题。在计算机视觉领域，Mamba模型具有很大的潜力，已经被应用于各种计算机视觉任务中。

论文详细介绍了Mamba模型的原始公式，并介绍了Mamba模型在计算机视觉领域的应用情况。作者将相关工作分为不同的模态进行分类，包括图像、视频、点云、多模态等，并进一步将图像应用分为不同的任务类型。此外，作者还讨论了未来研究的挑战和方向，并提供了一个Mamba模型的列表。

最近在这个领域中，还有一些相关的研究，如《Vision Transformer: A New Vision Model Pre-trained on Large-Scale Data》、《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》、《End-to-End Learning of Video Super-Resolution with Motion Compensation》等。