RTFormer: Re-parameter TSBN Spiking Transformer

我们的研究介绍了一种新型架构RTFormer，它在Spiking Transformer框架中嵌入了重新参数化的时间滑动批归一化（TSBN），旨在解决SNN在平衡高级任务的计算需求和能量效率方面的挑战。RTFormer的关键在于它集成了重新参数化的卷积和TSBN，实现了计算能力和能量节约之间的平衡，从而在推理过程中优化能量使用并确保强大的计算性能。

本论文旨在解决Spiking Neural Networks（SNNs）在高级任务的计算需求和能源效率之间的平衡问题。

该论文介绍了一种名为RTFormer的新型架构，它将重新参数化的时间滑动批量归一化（TSBN）嵌入到Spiking Transformer框架中，从而优化了推理过程中的能量使用，同时确保了强大的计算性能。

该论文的亮点在于RTFormer将重新参数化的卷积和TSBN相结合，实现了计算能力和能源节约之间的平衡。实验设计了多个数据集，并提供了开源代码。该工作为深入研究SNNs的发展提供了有价值的思路。

在最近的相关研究中，还有一些类似的工作，例如“SpikeFlow：一种基于流水线的神经脉冲网络加速器设计”和“SpikeNet：一种基于时序编码的深度神经网络”。