Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods

脉冲神经网络（SNN）因其高度生物可信性、丰富的时空动态和事件驱动计算而成为人工神经网络（ANN）的一种有前途的节能替代方案。基于代理梯度方法的直接训练算法提供了足够的灵活性，可设计新的SNN架构并探索其时空动态。根据先前的研究，模型的性能高度依赖于其规模。最近，直接训练深度SNN在神经形态数据集和大规模静态数据集上取得了很大进展。值得注意的是，基于Transformer的SNN表现与ANN相当。本文提供了一个新的视角，系统全面地总结了训练高性能深度SNN的理论和方法，包括理论基础、脉冲神经元模型、先进的SNN模型和残差架构、软件框架和神经形态硬件、应用和未来趋势。所评审的论文可在https://github.com/zhouchenlin2096/Awesome-Spiking-Neural-Networks上找到。

论文旨在系统全面地总结深度脉冲神经网络（SNN）的理论和方法，包括神经元模型、高级SNN模型、软件框架和神经形态硬件、应用和未来趋势等方面，并探索SNN的空间-时间动态。

论文提出了直接训练深度SNN的新方法，该方法基于替代梯度法，具有足够的灵活性来设计新的SNN体系结构，并探索SNN的空间-时间动态。此外，论文还介绍了基于Transformer的SNN模型，其性能与ANN相当。

论文介绍了SNN的理论基础、神经元模型、高级SNN模型和残差体系结构、软件框架和神经形态硬件、应用以及未来趋势等方面。论文还提供了一个收集相关研究的Github仓库。

最近的相关研究包括：1.《Spiking Deep Residual Network》；2.《Spiking Neural Networks: Principles and Challenges》；3.《Unsupervised Learning of Digit Recognition using Spike-Timing-Dependent Plasticity》。