Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning

最近神经科学研究的进展推动了脉冲神经网络（SNN）的发展，SNN不仅有可能进一步推动神经科学研究，而且由于其脉冲驱动的特性，还可以作为人工神经网络（ANN）的节能替代品。然而，以往的研究往往忽略了事件数据之间的多尺度信息及其时空相关性，导致SNN模型将输入事件的每一帧近似为静态图像。我们假设这种过度简化显著地导致了SNN和传统ANN之间的性能差距。为了解决这个问题，我们设计了一个脉冲多尺度注意力（SMA）模块，用于捕捉多尺度时空交互信息。此外，我们开发了一种名为注意力区域失活（AZO）的正则化方法，利用时空注意力权重通过伪集成训练来降低模型的泛化误差。我们的方法在主流神经形态数据集上取得了最先进的结果。此外，我们使用一个104层的ResNet架构，增强了SMA和AZO，达到了77.1%的Imagenet-1K数据集的性能。这一成就证实了具有非Transformer架构的SNN的最先进性能，并强调了我们的方法在弥合SNN模型和传统ANN模型之间的性能差距方面的有效性。

解决问题：论文试图解决什么问题，或者验证什么假设？这是否是一个新问题？

关键思路：论文中解决问题的方案关键思路是什么？相比当前这个领域的研究状况，这篇论文的思路有什么新意？

其他亮点：论文提出了Spiking Multiscale Attention (SMA)模块和Attention ZoneOut (AZO)正则化方法，用于改进Spiking Neural Networks (SNNs)的性能，实验结果表明该方法在多个数据集上达到了state-of-the-art的结果，包括使用104层ResNet架构在Imagenet-1K数据集上达到了77.1%的准确率。

相关研究：与该论文相关的研究包括Spiking Neural Networks的发展和应用，以及注意力机制在神经网络中的应用等。