CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

脉冲神经网络（SNN）是一种很有前途的脑启发式、节能的模型。与传统的深度人工神经网络（ANN）相比，SNN表现出更高的效率和处理时间信息的能力。然而，由于其不可微分的脉冲机制，训练SNN仍然是一个挑战。代理梯度法通常用于训练SNN，但往往会带来与ANN相比的精度劣势。通过对漏电整流-火（LIF）神经元基础的SNN训练过程进行分析和实验研究，我们将精度下降与时间维度上梯度消失联系起来。此外，我们提出了互补漏电整流-火（CLIF）神经元。CLIF创建了额外的路径来促进反向传播计算时间梯度，同时保持二元输出。CLIF是无超参数的，并具有广泛的适用性。对各种数据集的大量实验表明，CLIF相对于其他神经元模型具有明显的性能优势。此外，即使在相同的网络结构和训练条件下，CLIF的性能甚至略高于优秀的ANN。代码可在https://github.com/HuuYuLong/Complementary-LIF上获得。

如何训练SNNs是一个挑战，因为它们的尖峰机制是不可微分的。本文试图通过提出一种新的神经元模型来解决这个问题。

本文提出了一种新的神经元模型，即Complementary Leaky Integrate-and-Fire (CLIF)神经元，它通过创建额外的路径来计算时间梯度，从而使反向传播更容易，并保持二进制输出。

本文的亮点包括提出了一种新的神经元模型CLIF，这种模型不需要超参数，并且在各种数据集上都表现出了明显的性能优势。此外，本文的实验结果表明，CLIF的性能甚至略优于相同网络结构和训练条件下的优秀ANNs。作者还开源了代码。

最近在这个领域中，一些相关的研究包括：1. Sengupta等人的“Going Deeper in Spiking Neural Networks: VGG and Residual Architectures”；2. Rueckauer等人的“Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classification”；3. Tavanaei等人的“BP-STDP: Approximating Backpropagation Using Spike Timing Dependent Plasticity”。