A Survey of Mamba

深度学习作为一种重要的技术，在人工智能领域引发了一场显著的革命。作为最具代表性的架构，Transformer已经为许多先进模型提供了支持，尤其是包含数十亿参数的大语言模型，成为深度学习的基石。尽管取得了令人瞩目的成就，但Transformers仍然面临固有的限制，尤其是由于注意力计算的二次计算复杂度导致的耗时推断。最近，一种名为Mamba的新架构，从经典状态空间模型中汲取灵感，已经成为建立基础模型的有前途的替代方案，提供了与Transformers相当的建模能力，同时保留了近线性可扩展性，涉及序列长度。这引发了越来越多的研究积极探索Mamba在各个领域实现卓越性能的潜力。鉴于这种快速发展，需要进行系统的回顾，以整合现有的Mamba支持模型，提供对这种新兴模型架构的全面理解。因此，在本次调查中，我们深入研究了最近与Mamba相关的研究，涵盖了三个主要方面：基于Mamba的模型的进展、适应Mamba到不同数据的技术以及Mamba能够优越的应用领域。具体而言，我们首先回顾了各种代表性深度学习模型的基础知识以及Mamba的细节。然后，为了展示Mamba的重要性，我们全面审查了相关研究，重点关注Mamba模型的架构设计、数据适应性和应用。最后，我们提出了当前限制的讨论，并探索了各种有前途的研究方向，以为未来的研究提供更深入的见解。

本论文旨在介绍一种名为Mamba的新型神经网络架构，以解决Transformer模型中注意力计算的二次计算复杂度问题，并探索Mamba在不同领域的应用潜力。

Mamba模型基于经典状态空间模型的灵感，通过引入状态变量和转移函数来代替Transformer中的注意力机制，从而实现近线性可扩展性和与Transformer相当的建模能力。

论文详细介绍了Mamba的架构设计、数据适应技术和应用领域，并提出了当前研究的局限性和未来研究方向。实验结果表明，Mamba在机器翻译、文本分类、语音识别等任务中取得了与Transformer相当的性能，并且具有更好的可扩展性。

最近的相关研究包括：《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》、《Longformer: The Long-Document Transformer》、《Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing》等。