Rethinking Spiking Neural Networks as State Space Models

本文介绍了脉冲神经网络(SNNs)，它是传统神经结构的一种生物学上可行的替代方案，其核心计算框架基于广泛研究的漏电整流(LIF)神经元设计。LIF神经元的状态性质引发了关于SNNs能否像循环神经网络(RNNs)一样处理序列数据的持续讨论。尽管如此，目前在长距离依赖任务领域中对当前SNNs的探索仍存在重大差距。为了将神经元动态分析扩展到超越简单的LIF机制之外，本研究提出了一种基于状态空间模型的新型随机脉冲神经元模型。我们通过提出n维隐藏状态，超越了LIF神经元的标量隐藏状态表示，后者通常仅包括膜电位。此外，我们引入可学习参数，使得每层神经元动态的精细调整成为可能，而不是像LIF神经元那样采用固定动态。我们还开发了一个强大的框架，将这些神经元模型扩展到深度SNNs体系结构中，以确保高效的并行训练，同时也巧妙地解决了反向传播阶段中随机脉冲操作的不可微性挑战。我们的模型在各种长距离依赖任务中均取得了SNN模型的最新性能，包括Long Range Arena基准测试、置换顺序的MNIST和语音命令数据集。此外，我们提供了能源效率优势的分析，强调了这种脉冲模型固有的稀疏活动模式。

该论文旨在探索脉冲神经网络（SNNs）在长程依赖任务中的表现，并提出了一种新的基于状态空间模型的随机脉冲神经模型，以解决LIF神经元设计中存在的问题。

该论文提出了一种新的n维隐藏状态的脉冲神经模型，并引入了可学习参数来优化每层的神经元动力学，同时提出了一个可扩展的框架，以解决非可微分性的问题。

该论文的模型在长程依赖任务中取得了最先进的表现，包括Long Range Arena基准测试、置换顺序的MNIST和语音命令数据集。此外，该论文还分析了能源效率的优势，并强调了这种脉冲模型固有的稀疏活动模式。

近期的相关研究包括“Spiking Neural Networks: Principles and Challenges”和“Biologically Plausible Deep Learning - But How Far Can We Go with Shallow Networks?”