论文地址：https://arxiv.org/pdf/2201.10943.pdf

开源代码：https://github.com/LinZhu111/EVSNN

摘要

神经形态视觉传感器是一种新的生物启发的成像范式，报告了异步，连续的亮度亮度变化，称为“事件”，具有高时间分辨率和高动态范围。到目前为止，基于事件的图像重建方法基于人工神经网络（ANN）或手工制作的时空平滑技术。在本文中，我们首先通过深尖峰神经网络（SNN）体系结构实施图像重建工作。作为生物启发的神经网络，随着时间的推移分布的异步二进制尖峰运行的SNN可能会导致事件驱动的硬件的计算效率更高。我们提出了一个基于事件的新型视频重建框架，该框架基于完全尖峰的神经网络（EVSNN），该框架利用了泄漏的综合和传火（LIF）神经元和膜电位（MP）神经元。我们发现，尖峰神经元有可能存储有用的时间信息（内存）以完成此类时间有关的任务。此外，为了更好地利用时间信息，我们提出了使用尖峰神经元的膜电位的混合潜力辅助框架（PA-EVSNN）。所提出的神经元称为自适应膜电位（AMP）神经元，根据输入尖峰自适应更新膜电位。实验结果表明，我们的模型在IJRR，MVSEC和HQF数据集上实现了与基于ANN的模型相当的性能。 EVSNN和PAEVSNN的能源消耗分别比其ANN体系结构高出19.36×和7.75倍。

主要贡献

在本文中，我们提出了一种新的基于事件的视频重建框架，该框架基于完全尖峰神经网络 (EVSNN)，该框架利用泄漏集成和发射 (LIF) 神经元和膜电位 (MP) 神经元。 为了更好地提取时间信息，我们提出了一种混合电位辅助框架（PA-EVSNN），使用尖峰神经元的膜电位。 本文的主要贡献总结如下：

  • 我们首先探索基于事件的图像重建的完全尖峰神经网络（EVSNN）体系结构，该体系结构利用LIF神经元和MP神经元。这也是为图像重建任务开发深SNN的首次尝试。
  • 我们提出了一种混合潜力辅助SNN（PAEVSNN），该SNN（PAEVSNN）使用自适应膜电位（AMP）神经元来改善EVSNN的时间接受场。 AMP神经元可以根据输入尖峰调节膜时间常数，以适应各种重建场景。
  • 公共数据集上的实验表明，所提出的模型与现有基于ANN的模型具有可比性的性能，而EVSNN和PA-EVSNN的能源消耗分别比其ANN体系结构分别具有19.36×和7.75倍的计算效率。与E2VID相比，拟议的EVSNN和PA-EVSNN分别实现了24.15×和8.76×的8.76倍。

实验

为了与基于ANN的重建方法进行公平的比较，我们使用E2VID [43]完全相同的合成数据来训练我们的SNN。该数据集由事件模拟器ESIM生成，由950个训练序列和50个验证序列组成。 MS-Coco图像[26]映射到3D平面，并使用随机的6-DOF摄像机运动来触发事件。在训练过程中，事件张量的非零值被标准化为平均值，标准偏差分别为0和1。事件和图像随机裁剪为128×128，以增加数据。

我们的模型使用Spikingjelly [9]实现，这是一个基于Pytorch [36]的开源深度学习框架。 NVIDIA TITAN XP GPU用于训练我们的模型。在培训过程中，我们采用8和Adam Optimizer [21]的批次大小。该网络经过100个时期的培训，学习率为0.002。时间一致性损失的重量λ设置为1。所有神经元的重置值\( V_{RESET} \)设置为0，并且LIF神经元的膜时间常数τ设置为2。

内容中包含的图片若涉及版权问题，请及时与我们联系删除