The Hidden Attention of Mamba Models

"Mamba层提供了一种高效的选择性状态空间模型（SSM），在多个领域中包括自然语言处理、长序列处理和计算机视觉中，都非常有效。选择性SSM被视为双重模型，其中一个模型通过IO-aware并行扫描在整个序列上进行并行训练，然后以自回归方式部署。我们增加了第三个视角，并展示这些模型可以被视为基于注意力的模型。这个新的视角使我们能够将其基本机制与transformers中的自注意力层进行比较，并允许我们通过可解释性方法深入了解Mamba模型的内部运作。我们的代码是公开可用的。"

本论文试图探讨选择性状态空间模型（SSM）在多个领域中的应用，同时提出一种新的视角，将其视为注意力驱动模型，以便与transformers中的自注意力层进行比较，并使用可解释性方法深入研究其内部工作原理。

本论文提出了一种新的视角，将选择性SSM视为注意力驱动模型，并探讨其与transformers中的自注意力层的相似之处，从而深入研究其内部工作原理。

论文使用IO-aware并行扫描对整个序列进行训练，并以自回归方式部署选择性SSM。实验结果表明，选择性SSM在自然语言处理、长序列处理和计算机视觉等多个领域中都具有高效性和有效性。此外，论文的代码已经公开发布。

与本论文相关的其他研究包括transformers和自注意力机制的研究。