Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks

本文介绍了一种新的融合知识蒸馏（KD）和脉冲神经网络（SNN）的学习方法，即时空自蒸馏学习方法（TSSD）。相较于使用预训练的教师模型来提高SNN模型性能，TSSD方法不需要额外的计算资源，并且避免了手动定义适当的教师网络架构的繁琐过程。该方法通过在训练过程中扩展SNN的时间步长来创建一个隐式的时间“教师”，指导原始的“学生”学习，即时间自蒸馏。同时，通过使用SNN的最终输出来指导中间阶段的弱分类器输出，即空间自蒸馏。该方法不会引入任何推理开销，并具有良好的泛化能力。在静态图像数据集CIFAR10/100和ImageNet以及神经形态学数据集CIFAR10-DVS和DVS-Gesture上进行的大量实验验证了TSSD方法的卓越性能。本文提出了一种新的融合KD和SNN的高性能SNN学习方法，为相关领域的研究提供了新思路。

论文旨在通过自蒸馏学习方法解决SNN模型中需要大量计算资源和手动定义合适的教师网络结构的问题，提高SNN模型的性能。

论文提出了一种时间-空间自蒸馏（TSSD）学习方法，通过扩展SNN的时间步长和引导弱分类器的输出，实现SNN模型的自我训练。

论文使用CIFAR10/100、ImageNet、CIFAR10-DVS和DVS-Gesture数据集进行了广泛的实验，证明了TSSD方法的优越性。该方法没有引入推理开销且具有良好的泛化能力。

最近的相关研究包括：Knowledge Distillation for Spiking Neural Networks: A Review和Spike-based Learning of Deep Generative Models with Applications to V1 Cortical Analysis。