SFOD: Spiking Fusion Object Detector

本文介绍了事件相机在特定场景下进行目标检测的独特优势，包括高时间分辨率、高动态范围、低功耗和高像素带宽。然而，事件数据的稀疏性和异步性对现有的目标检测算法提出了挑战。脉冲神经网络（SNNs）受到人脑编码和处理信息的启发，提供了一种潜在的解决方案。然而，目前实现中SNN在使用事件相机进行目标检测的性能受到限制。因此，本文提出了一种名为Spiking Fusion Object Detector（SFOD）的简单高效的SNN目标检测方法。具体来说，我们设计了一个脉冲融合模块，实现了SNN中来自不同尺度的特征图的首次融合。此外，通过整合我们在NCAR数据集上对骨干网络进行预训练的分析和实验，我们深入探讨了脉冲解码策略和损失函数对模型性能的影响。因此，我们在基于SNN的分类结果方面取得了最新的最高水平，NCAR数据集上的准确率达到93.7％。在GEN1检测数据集上的实验结果表明，SFOD实现了32.1％的最新mAP，超过了现有基于SNN的方法。我们的研究不仅强调了SNN在事件相机目标检测中的潜力，还推动了SNN的发展。代码可在https://github.com/yimeng-fan/SFOD上获得。

论文旨在解决使用事件相机进行物体检测时，稀疏性和异步性对现有算法的挑战，提出了基于SNN的物体检测方法。

论文提出了Spiking Fusion Object Detector（SFOD）方法，通过设计Spiking Fusion Module实现了不同尺度特征图的首次融合，同时深入研究了编码策略和损失函数对模型性能的影响。

论文在NCAR数据集上实现了93.7%的准确率，同时在GEN1检测数据集上实现了32.1%的mAP，超过了现有基于SNN的方法。论文提供了开源代码，并且强调了SNN在事件相机物体检测中的潜力和推动了SNN的发展。

在这个领域中，最近的相关研究包括：1. Spiking YOLOv4: an Energy-Efficient Object Detection System Using Spiking Neural Networks; 2. Event-Based Object Detection with a Spiking Convolutional Neural Network。