VideoMamba: Spatio-Temporal Selective State Space Model

我们介绍了VideoMamba，这是纯Mamba架构的一种新颖改进，专门用于视频识别。与依赖自我注意机制导致二次复杂度高的transformers不同，VideoMamba利用了Mamba的线性复杂度和选择性SSM机制，以更有效的方式进行处理。所提出的时空正向和反向SSM允许模型有效地捕捉视频中非顺序空间和顺序时间信息之间的复杂关系。因此，VideoMamba不仅资源高效，而且在捕捉视频中的长距离依赖性方面也非常有效，展示了在各种视频理解基准测试中具有竞争力的性能和出色的效率。我们的工作突出了VideoMamba作为视频理解的强大工具的潜力，为未来视频分析研究提供了一个简单而有效的基准。

本篇论文旨在提出一种针对视频识别的新型神经网络架构，解决传统transformer模型计算复杂度高的问题，同时能够有效地捕捉视频中非顺序空间和顺序时间信息之间的复杂关系。

论文提出了一种基于Mamba架构的VideoMamba模型，利用线性复杂度和选择性SSM机制实现了更高效的视频处理。同时，通过提出的时空正向和反向SSM，能够有效地捕捉视频中非顺序空间和顺序时间信息之间的复杂关系。

论文在多个视频理解基准测试中展现了出色的效率和竞争力，并且为视频理解领域提供了一个简单而有效的基准模型。实验使用了多个数据集，并且开源了代码。

在此领域的相关研究中，近期的一些论文包括：'Temporal Shift Module Network for Efficient Video Understanding'，'Non-Local Neural Networks'，'S3D-G: Separable 3D Convolution for Efficient Video Recognition'等。