Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding

理解视频是计算机视觉研究的基本方向之一，人们已经付出了大量的努力来探索各种架构，比如RNN、3D CNN和Transformers。最近提出的状态空间模型架构，例如Mamba，展示了将其在长序列建模领域的成功扩展到视频建模领域的有前途的特征。为了评估Mamba在视频理解领域是否可以成为Transformers的可行替代方案，在这项工作中，我们进行了全面的研究，探究Mamba可以在建模视频中发挥的不同作用，同时研究Mamba可以展示出优越性的各种任务。我们将Mamba分类为四种建模视频的角色，派生出由14个模型/模块组成的Video Mamba Suite，并在12个视频理解任务上对其进行评估。我们广泛的实验揭示了Mamba在仅视频和视频-语言任务上的强大潜力，同时显示出有前途的效率-性能权衡。我们希望这项工作可以为未来的视频理解研究提供有价值的数据点和见解。代码公开：https://github.com/OpenGVLab/video-mamba-suite。

论文探讨如何在视频理解领域中使用Mamba架构，以验证其是否可以成为Transformer的替代方案。

论文提出了将Mamba架构分为四种角色来建模视频，并在12个视频理解任务上评估14个模型/模块的表现。

论文的实验结果显示，Mamba架构在视频理解任务中表现出了很强的潜力，同时也具有很好的效率-性能平衡。论文提供了开源代码，并且对未来的视频理解研究提供了有价值的数据和见解。

在最近的相关研究中，有一些关于视频理解的文章，如《3D卷积神经网络在视频理解中的应用》、《基于循环神经网络的视频理解》等。