Spikformer V2: Join the High Accuracy Club on ImageNet with an SNN Ticket

本文介绍了脉冲神经网络（SNNs）的生物学合理性结构，但其性能受限。现有的SNNs中缺少高性能Transformer的基石——自注意机制。因此，本文探索了利用自我关注能力和生物特性的潜力，并提出了一种新的脉冲自我关注（SSA）和脉冲Transformer（Spikformer）。SSA机制消除了softmax的需要，并利用基于脉冲的查询、键和值来捕获稀疏的视觉特征。这种不需要乘法的稀疏计算使SSA高效且节能。此外，我们开发了一个脉冲卷积干扰器（SCS），用于增强Spikformer的架构。增强了SCS的Spikformer被称为Spikformer V2。为了训练更大、更深的Spikformer V2，我们在SNN中引入了自监督学习（SSL）的开创性探索。具体而言，我们使用主流的自监督Transformer所启发的掩蔽和重构样式预先训练Spikformer V2，然后在ImageNet的图像分类上微调Spikformer V2。广泛的实验表明，Spikformer V2优于其他先前的替代训练和ANN2SNN方法。一个8层的Spikformer V2使用4个时间步骤达到了80.38%的准确率，经过SSL后，一个172M的16层Spikformer V2只需1个时间步骤即可达到81.10%的准确率。据我们所知，这是SNN首次在ImageNet上实现80%以上的准确率。代码将在Spikformer V2上提供。

探索如何在Spiking Neural Networks (SNNs)中引入self-attention机制以提高性能，尤其是在图像分类任务上。

提出了Spiking Self-Attention (SSA)和Spiking Transformer (Spikformer)结构，其中SSA机制利用基于脉冲的Query、Key和Value实现了稀疏计算，避免了softmax和乘法操作，从而提高了效率和节能。同时，还引入了Spiking Convolutional Stem (SCS)来增强Spikformer结构，并在SNN中使用自监督学习 (SSL)进行预训练和微调。

实验结果表明，Spikformer V2在ImageNet图像分类任务上取得了80+%的准确率，是首次在SNN上实现这一成果。论文代码将公开。

近期的相关研究包括ANN2SNN方法和其他SNN训练方法，如Surrogate Gradient Learning和Backpropagation Through Time (BPTT)等。