Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods

脉冲神经网络（SNN）是一种有前途的节能替代人工神经网络（ANN）的选择，由于其高度生物可信性、丰富的时空动态和事件驱动计算。基于替代梯度方法的直接训练算法提供了足够的灵活性，可以设计新的SNN架构并探索SNN的时空动态。根据以前的研究，模型的性能高度依赖于其大小。最近，直接训练深度SNN在神经形态数据集和大规模静态数据集上取得了巨大进展。值得注意的是，基于Transformer的SNN表现出与ANN同等的性能。本文提供了一个新的视角，系统全面地总结了训练深度SNN以获得高性能的理论和方法，包括理论基础、脉冲神经元模型、高级SNN模型和残差架构、软件框架和神经形态硬件、应用和未来趋势。这些研究论文可以在https://github.com/zhouchenlin2096/Awesome-Spiking-Neural-Networks上找到。

本论文旨在系统全面地总结训练深度SNN的理论和方法，包括理论基础、尖峰神经元模型、高级SNN模型和残差架构、软件框架和神经形态硬件、应用和未来趋势。

论文提出了一种直接训练深度SNN的方法，该方法基于代理梯度方法，具有足够的灵活性，可以设计新的SNN架构并探索SNN的时空动态。

论文回顾了近期直接训练深度SNN的进展，包括基于变压器的SNN，这些模型在神经形态数据集和大规模静态数据集上表现出色。论文还提供了开源的论文列表和代码链接。

近期的相关研究包括基于深度学习的其他神经网络模型，如CNN和RNN，以及针对SNN的其他训练方法，如反向传播和STDP算法。