Spiking Wavelet Transformer

本文介绍了脉冲神经网络（SNN）通过模仿大脑的事件驱动处理方式，提供了一种节能的替代传统深度学习的方法。将Transformer与SNN相结合已经显示出在准确性方面的优势，但由于其依赖于全局自注意力操作，无法捕捉高频模式，如移动边缘和像素级亮度变化。将频率表示移植到SNN中具有挑战性但至关重要，以实现事件驱动视觉。为了解决这个问题，本文提出了Spiking Wavelet Transformer（SWformer），一种无注意力结构，通过利用稀疏小波变换，以脉冲驱动的方式有效地学习全面的空间频率特征。关键组件是一个具有三个分支的频率感知令牌混合器（FATM）：1）用于空间频率域学习的脉冲小波学习器，2）用于空间特征提取的卷积学习器，以及3）用于跨通道信息聚合的脉冲逐点卷积。我们还采用负脉冲动态来进一步加强频率表示。这使得SWformer在捕捉高频视觉组件方面优于普通的Spiking Transformer，这在我们的实验结果中得到了证明。在静态和神经形态数据集上的实验表明，SWformer以无乘法、事件驱动的方式捕捉空间频率模式的有效性优于最先进的SNN。与普通的Spiking Transformer相比，SWformer在ImageNet数据集上实现了超过50%的能量消耗减少、21.1%的参数数量减少和2.40%的性能提高。

本文旨在解决传统的SNN模型在捕捉高频视觉特征方面的不足，并提出了一种基于稀疏小波变换的Spiking Wavelet Transformer（SWformer）模型。

SWformer模型采用稀疏小波变换来有效地学习时空频率特征，通过Frequency-Aware Token Mixer（FATM）进行跨通道信息聚合，使用负脉冲动态增强频率表示，从而在事件驱动的方式下，实现了对高频视觉组件的准确捕捉。

实验结果表明，SWformer模型在静态和神经形态数据集上的性能均优于当前最先进的SNN模型，能够实现超过50％的能量消耗降低，21.1％的参数数量减少，并在ImageNet数据集上实现了2.40％的性能提升。同时，本文提出的SWformer模型也具有很好的实用性和可扩展性。

相关研究包括但不限于：Spiking Transformer，NeuroTransformer，Spiking ResNet等。