MAMBA4D: Efficient Long-Sequence Point Cloud Video Understanding with Disentangled Spatial-Temporal State Space Models

点云视频能够有效地捕捉现实世界的空间几何形态和时间动态，这对于使智能体能够理解我们生活在的动态变化的三维世界至关重要。尽管静态的三维点云处理已经取得了显著的进展，但设计一个有效的四维点云视频骨干仍然具有挑战性，主要是由于点的不规则和无序分布以及帧间的时间不一致性。此外，最近的最先进的四维骨干主要依赖于基于Transformer的架构，这些架构通常由于其二次复杂度而导致计算成本高昂，特别是在处理长视频序列时。为了解决这些挑战，我们提出了一种基于最近先进的状态空间模型（SSM）的新型四维点云视频理解骨干。具体而言，我们的骨干首先通过将原始的四维序列分离空间和时间，然后使用我们新开发的Intra-frame Spatial Mamba和Inter-frame Temporal Mamba块建立时空相关性。Intra-frame Spatial Mamba模块旨在编码在一定的时间搜索步幅内局部相似或相关的几何结构，这可以有效地捕捉短期动态。随后，这些局部相关令牌被传递到Inter-frame Temporal Mamba模块，该模块具有线性复杂度，进一步在整个视频中全局集成点特征，建立长程运动依赖关系。在人类动作识别和四维语义分割任务上的实验结果证明了我们提出的方法的优越性。特别是对于长视频序列，我们提出的基于Mamba的方法在MSR-Action3D数据集上与基于Transformer的对应方法相比，GPU内存减少了87.5％，加速了5.36倍，并且准确度更高（高达+10.4％）。

本文旨在设计一种有效的4D点云视频理解骨干网络，解决点云视频处理中的不规则和无序分布的点以及帧间时间不一致性的问题，以提高智能代理理解动态变化的三维世界的能力。

本文提出了一种基于状态空间模型（SSMs）的4D点云视频理解骨干网络，该网络通过分离空间和时间，使用Intra-frame Spatial Mamba和Inter-frame Temporal Mamba模块建立点特征的时空相关性，从而有效地捕捉短期和长期动态。

本文的亮点包括使用SSMs进行点云视频理解、提出Intra-frame Spatial Mamba和Inter-frame Temporal Mamba模块、在人体动作识别和4D语义分割任务上取得了优异的实验结果、相比于基于transformer的方法具有更高的速度和更低的GPU内存需求。

最近的相关研究包括基于transformer的4D点云视频理解骨干网络，如ST3D和STTR，以及使用RNN和LSTM等方法进行点云视频处理的研究，如PC-LSTM和PC-RNN。