Spiking Wavelet Transformer

本文介绍了脉冲神经网络（SNN）作为一种能效高的深度学习替代方案，其通过模仿大脑的事件驱动处理方式来实现。将Transformer与SNN相结合已经显示出了在准确性方面的优势，但由于其依赖于全局自注意力操作，无法捕捉高频模式，例如移动边缘和像素级亮度变化。在SNN中移植频率表示是具有挑战性但至关重要的，以实现事件驱动视觉。为了解决这个问题，本文提出了脉冲小波Transformer（SWformer），这是一种无需注意力机制的架构，通过利用稀疏小波变换以脉冲驱动的方式有效地学习全面的空间频率特征。其关键组件是一个频率感知Token混合器（FATM），包括三个分支：1）用于空间频率域学习的脉冲小波学习器，2）用于空间特征提取的卷积学习器，以及3）用于跨通道信息聚合的脉冲逐点卷积。本文还采用了负脉冲动态来进一步增强频率表示。SWformer在捕捉高频视觉组件方面优于普通的脉冲Transformer，这得到了我们的实证结果的支持。在静态和神经形态数据集上的实验表明，SWformer以无乘法、事件驱动的方式捕捉空间频率模式的有效性，优于最先进的SNNs。与普通的脉冲Transformer相比，在ImageNet数据集上，SWformer的能耗降低了50%以上，参数数量降低了21.1%，性能提高了2.40%。

论文旨在解决Spiking Neural Networks（SNNs）在捕捉高频视觉组件方面的不足，提出了一种新的架构Spiking Wavelet Transformer（SWformer）。

SWformer是一种无注意力机制的架构，利用稀疏小波变换在脉冲驱动的方式下有效地学习全面的空间频率特征。其关键组成部分是一个Frequency-Aware Token Mixer（FATM），具有三个分支，分别用于空间频率域学习、空间特征提取和跨通道信息聚合。

论文实验使用了静态和神经形态学数据集，并证明了SWformer在事件驱动方式下捕捉空间频率模式方面的有效性，优于现有的SNNs。SWformer相比于vanilla Spiking Transformers，能够实现50%以上的能量消耗降低、21.1%的参数数量减少和2.40%的性能提高。

最近的相关研究包括利用SNNs进行深度学习、结合Transformers和SNNs进行事件驱动的视觉处理等。