Event-based Optical Flow on Neuromorphic Processor: ANN vs. SNN Comparison based on Activation Sparsification

本文介绍了一种基于激活稀疏化和神经形态处理器SENECA的事件驱动光流解决方案。SENECA具有事件驱动的处理机制，可以利用ANN激活和SNN脉冲的稀疏性来加速两种类型神经网络的推理。在硬件实验中，比较了ANN和SNN，它们的激活/脉冲密度相似（约为5%），这要归功于新颖的稀疏化感知训练。实验结果表明，SNN的平均时间和能量消耗分别为44.9毫秒和927.0微焦耳，分别为ANN消耗的62.5%和75.2%。研究发现，SNN的更高效率归因于其较低的像素级脉冲密度（43.5% vs. 66.5%），这需要更少的神经元状态的内存访问操作。

本论文旨在比较事件驱动光流问题中的脉冲神经网络（SNN）与人工神经网络（ANN）的计算效率，并提出一种基于激活稀疏化和神经形态处理器（SENECA）的事件驱动光流解决方案。

论文提出一种基于激活稀疏化和神经形态处理器的SNN解决方案，利用SNN的低密度脉冲和神经元状态的内存访问操作较少的特性，与ANN进行比较，结果表明SNN的计算效率更高。

论文通过硬件实验验证了SNN的计算效率更高，其平均时间和能量消耗分别为ANN的62.5％和75.2％。此外，论文还提出了一种新的稀疏化训练方法，使得ANN和SNN的激活/脉冲密度相似。论文使用SENECA进行实验，并提供了数据集和开源代码。

最近的相关研究包括：1）基于SNN的事件驱动计算的研究，如“Event-Driven Spiking Convolutional Neural Network for Object Recognition”；2）基于ANN的光流计算的研究，如“Unsupervised Learning of Optical Flow with Aperture Problem Handling”等。