SpikeMba: Multi-Modal Spiking Saliency Mamba for Temporal Video Grounding

“时间视频定位（TVG）”是视频内容理解中的一个关键任务。尽管已经取得了显著的进展，但现有方法通常限制于捕捉多模态输入和处理长视频序列的细粒度关系，且计算成本较高。为了解决这些限制，我们引入了一种新颖的“SpikeMba：多模态脉冲显著性曼巴”，用于时间视频定位。在我们的工作中，我们将“脉冲神经网络（SNN）”和“状态空间模型（SSM）”相结合，有效地捕捉多模态特征的细粒度关系。具体而言，我们引入相关槽位来增强模型的记忆能力，从而实现对视频序列的更深层次的上下文理解。上下文时刻推理器利用这些槽位来维护上下文信息保留和语义相关性探索之间的平衡。同时，脉冲显著性检测器利用SNN的独特属性来精确定位显著提议。我们的实验证明了SpikeMba的有效性，它在主流基准测试中始终优于现有的最先进方法。

解决问题：论文旨在解决视频内容理解中的时间视频基础任务，即如何有效地捕捉多模态输入之间的细粒度关系以及处理长视频序列的高计算成本。

关键思路：论文提出了一种新颖的解决方案，将脉冲神经网络（SNNs）和状态空间模型（SSMs）相结合，以有效地捕捉多模态特征之间的细粒度关系。同时，引入相关槽以增强模型的记忆能力，实现对视频序列的更深层次的上下文理解。

亮点：论文的实验结果表明，SpikeMba方法在主流基准测试中始终优于现有最先进方法。论文的代码已经开源，可以进一步探究其方法的有效性和泛化性能。

相关研究：最近在这个领域中，还有一些相关的研究，如《Temporal Action Localization with Pyramid of Score Distribution Features》和《Hierarchical Boundary-Aware Neural Encoder for Video Captioning》等。