Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning

深度和大规模脉冲神经网络 (SNNs) 的出现，在各种复杂数据集上展现出高性能，因存在大量冗余结构单元，需要压缩网络模型，以更有效地利用其低功耗和生物可解释性优势。目前，SNNs 的大多数模型压缩技术都基于个别连接的非结构化修剪，需要特定的硬件支持。因此，我们提出了一种基于卷积核活动水平的结构化修剪方法，称为 Spiking Channel Activity-based (SCA) 网络修剪框架。受突触可塑性机制的启发，我们的方法通过修剪和再生卷积核来动态调整网络结构，增强模型对当前目标任务的适应性。在保持模型性能的同时，这种方法可以优化网络架构，最终减少计算负载并加速推理过程。这表明，结构化动态稀疏学习方法可以更好地促进深度 SNNs 在低功耗和高效率场景中的应用。

论文提出了一种基于卷积核活动水平的结构化剪枝方法，旨在更有效地利用低功耗和生物可解释性优势。

该方法受到突触可塑性机制的启发，通过在训练期间修剪和重建卷积核来动态调整网络结构，从而提高模型对当前目标任务的适应性。

该方法能够在保持模型性能的同时，优化网络结构，最终减少计算负载并加速推理过程。实验使用了多个数据集进行验证，并开源了代码。该方法为深度SNN在低功耗和高效率场景下的应用提供了更好的解决方案。

最近的相关研究包括基于不同的剪枝方法来压缩SNN模型的研究，如基于权重和基于通道的剪枝方法。