Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware

本文探讨了神经形态学和边缘计算相结合的协同潜力，以创建一个适用于处理动态视觉传感器捕获数据的通用机器学习（ML）系统。我们使用PyTorch和Lava框架构建和训练混合模型，混合脉冲神经网络（SNN）和人工神经网络（ANN）。我们的混合架构集成了用于时间特征提取的SNN和用于分类的ANN。我们深入探讨了在硬件上部署这种混合结构的挑战。具体而言，我们在Intel的神经形态处理器Loihi（用于SNN）和Jetson Nano（用于ANN）上部署了各个组件。我们还提出了一个累加器电路，将数据从脉冲到非脉冲域转移。此外，我们在神经形态和边缘AI硬件的异构系统上对混合SNN-ANN模型进行了全面的性能分析，评估了准确性、延迟、功率和能量消耗。我们的研究结果表明，混合脉冲网络在所有指标上均优于基线ANN模型，并在准确性和延迟方面优于基线SNN模型。

本论文旨在探索神经形态和边缘计算的协同潜力，为处理动态视觉传感器捕获的数据量身定制多功能机器学习（ML）系统。作者构建并训练了混合模型，融合了脉冲神经网络（SNN）和人工神经网络（ANN）使用PyTorch和Lava框架。作者在硬件上部署了SNN和ANN，分别在Intel的Neuromorphic Processor Loihi和Jetson Nano上进行。

本文的关键思路是通过将SNN和ANN混合使用，利用SNN进行时间特征提取，利用ANN进行分类，以创建适用于动态视觉传感器数据处理的机器学习系统。作者还提出了一个累加器电路来将数据从脉冲域传输到非脉冲域。

本论文的亮点包括：1.使用混合SNN-ANN模型，在神经形态和边缘AI硬件的异构系统上实现了全面的性能分析，评估了准确性、延迟、功率和能量消耗。2.作者提出了一个累加器电路来传输数据。3.混合脉冲网络在所有指标上均超越基线ANN模型，并在准确性和延迟方面优于基线SNN模型。

最近在这个领域中，与本文相关的研究包括：1.使用神经形态处理动态视觉传感器数据的其他研究。2.基于深度学习的动态视觉传感器数据处理的其他研究。3.边缘计算和神经形态的其他结合研究。