VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting

将CNN或ViT与RNN相结合，用于时空预测，已经在预测时间和空间动态方面取得了无与伦比的结果。然而，对广泛的全球信息进行建模仍然是一个巨大的挑战；CNN受其狭窄的感受野的限制，而ViT则在其注意力机制的强大计算需求方面遇到了困难。最近基于Mamba的架构的出现受到了热烈的欢迎，因为它们具有卓越的长序列建模能力，超越了已建立的视觉模型的效率和准确性，这激励我们开发一种专为时空预测量身定制的创新架构。在本文中，我们提出了VMRNN单元，一种将Vision Mamba块与LSTM的优势相结合的新型循环单元。我们构建了一个以VMRNN单元为中心的网络，以有效应对时空预测任务。我们广泛的评估表明，我们提出的方法在各种任务上获得了有竞争力的结果，同时保持较小的模型大小。我们的代码可在https://github.com/yyyujintang/VMRNN-PyTorch上找到。

本文旨在解决时空预测中全局信息建模的挑战，提出了一种新的结合Vision Mamba块和LSTM的循环单元VMRNN，并构建了以VMRNN单元为中心的网络来有效地处理时空预测任务。

本文的关键思路是将Vision Mamba块和LSTM结合起来，提出了一种新的循环单元VMRNN，以解决时空预测中全局信息建模的挑战。

本文的亮点包括提出了一种新的循环单元VMRNN，其在时序建模方面具有优异的性能和较小的模型大小；实验结果表明，该方法在各种任务上都取得了有竞争力的结果；代码已开源。

最近的相关研究包括使用CNN和ViT结合RNN进行时空预测的方法，以及使用Mamba-based架构进行长序列建模的方法。