Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba

事件相机受生物系统的启发，能够高效地检测环境光线的变化，具有低延迟、高动态范围和最小功耗的特点。目前最常用的处理事件数据的方法是将其转换为基于帧的表示，这在传统视觉中是成熟的方法。然而，这种方法忽略了事件数据的稀疏性，在转换过程中丢失了细粒度的时间信息，并增加了计算负担，使其难以有效地表征事件相机的特性。相比之下，点云是三维处理中常用的表示方法，更适合匹配事件相机的稀疏和异步性质。然而，尽管点云方法理论上与事件相机兼容，但结果显示与基于帧的方法相比存在尚不令人满意的性能差距。为了弥合这一性能差距，我们提出了EventMamba，一种高效而有效的点云框架，即使与最先进的基于帧的方法相比，在分类和回归任务中也能取得竞争性的结果。这一显著成就得益于我们对事件云和点云之间区别的重新思考，强调通过优化的网络结构实现有效的时间信息提取。具体而言，EventMamba利用时间聚合和基于状态空间模型（SSM）的Mamba技术，具有增强的时间信息提取能力。通过分层结构，EventMamba能够很好地抽象出局部和全局空间特征以及隐式和显式的时间特征。通过遵循轻量级设计原则，EventMamba能够以最小的计算资源利用提供令人印象深刻的结果，展示了其高效性和有效性。

本论文试图解决点云方法在事件相机处理中的性能差距问题，提出了一种新的事件点云框架EventMamba。

EventMamba通过优化网络结构，利用时间聚合和基于状态空间模型的Mamba提取增强的时间信息，实现了对比基于帧的方法更具竞争力的分类和回归任务结果。

论文提出了一个新的事件点云框架EventMamba，通过优化网络结构实现了对比基于帧的方法更好的结果，同时具有轻量级设计原则，能够高效利用计算资源。

相关研究包括基于点云的方法和基于帧的方法，其中基于帧的方法在传统视觉领域已经被广泛研究和应用。