A Hybrid SNN-ANN Network for Event-based Object Detection with Spatial and Temporal Attention

事件相机具有高时间分辨率和动态范围，且最小化运动模糊，因此在物体检测任务中具有很大的潜力。尖峰神经网络（SNN）是事件驱动的感知数据的天然匹配，并且能够在神经形态硬件上实现超低能耗和低延迟的推理，而人工神经网络（ANN）则倾向于显示出更稳定的训练动态和更快的收敛速度，从而实现更好的任务性能。混合SNN-ANN方法是一种有前途的选择，可以利用SNN和ANN架构的优势。在本文中，我们介绍了第一个基于注意力的混合SNN-ANN骨干网络，用于使用事件相机进行物体检测。我们提出了一种新颖的基于注意力的SNN-ANN桥接模块，以从SNN层中捕获稀疏的空间和时间关系，并将其转换为ANN骨干网络的密集特征图。实验结果表明，我们提出的方法明显优于基线混合和基于SNN的方法，并且结果与现有的基于ANN的方法相当。广泛的消融研究证实了我们提出的模块和架构选择的有效性。这些结果为实现在极大减少参数预算的情况下实现类似ANN性能的混合SNN-ANN架构铺平了道路。我们在数字神经形态硬件上实现了SNN块，以调查延迟和功耗，并展示了我们方法的可行性。

论文旨在提出一种基于事件相机的混合注意力SNN-ANN骨干网络，用于目标检测。该方法旨在解决SNN和ANN架构各自的局限性。

论文提出了一种注意力SNN-ANN桥接模块，用于从SNN层中捕获稀疏的时空关系，并将其转换为ANN部分的密集特征图。这种混合SNN-ANN方法可以在大大减少参数预算的情况下实现ANN的性能。

论文的实验结果表明，提出的方法比基线混合和基于SNN的方法有显著的优势，并且结果可与现有的基于ANN的方法相媲美。实验使用的数据集和开源代码也被公开。研究表明，混合SNN-ANN架构是未来研究的一个方向。

最近的相关研究包括基于事件相机的目标检测方法，以及SNN和ANN混合架构的研究。其中一些论文的标题包括：“Event-based Object Detection with a Dynamic Convolutional Network”，“Hybrid Spiking-Deep Neural Networks for Object Recognition”，以及“SpikeFlow: Spiking Neural Network based Deep Learning Framework on FPGA”等。