CCSRP: Robust Pruning of Spiking Neural Networks through Cooperative Coevolution

2024年07月18日
  • 简介
    本文介绍了脉冲神经网络(SNN)在各种动态视觉任务中的潜力,但是那些可以实际部署的SNN通常缺乏资源有限和安全关键环境中所必需的紧凑性和鲁棒性。以往的研究主要集中在通过网络修剪和对抗性训练等策略增强人工神经网络的紧凑性或鲁棒性,但很少探索类似的SNN方法。鲁棒SNN修剪旨在减少计算开销,同时保持准确性和鲁棒性。目前的鲁棒修剪方法通常需要专家知识和迭代实验来确定适当的修剪标准或辅助模块,从而限制了它们的广泛应用。同时,进化算法(EAs)已被用于自动修剪人工神经网络,取得了显着的成果,但忽略了鲁棒性方面。在本文中,我们提出了CCSRP,一种基于合作进化的SNN创新鲁棒修剪方法。鲁棒修剪被表述为一个三目标优化挑战,旨在同时平衡准确性、鲁棒性和紧凑性,通过独立使用EAs修剪层间滤波器的合作进化修剪框架来解决。我们在CIFAR-10和SVHN上的实验表明,CCSRP可以匹配或超越最新方法的性能。
  • 图表
  • 解决问题
    本文旨在提出一种针对SNNs的紧凑性和稳健性的剪枝方法,以减少计算开销并保持准确性和稳健性。目前的剪枝方法需要专业知识和迭代实验,限制了它们的广泛应用。
  • 关键思路
    文章提出了一种名为CCSRP的创新稳健剪枝方法,采用合作进化的方法,在保持准确性和稳健性的同时,通过使用遗传算法独立地剪枝层中的滤波器,以实现紧凑性。
  • 其它亮点
    实验结果表明,CCSRP可以达到或超过最新方法的性能。作者使用了CIFAR-10和SVHN数据集进行实验,并开源了代码。该方法的亮点包括:采用了合作进化的方法,同时考虑了准确性、稳健性和紧凑性;在实验中表现出色。
  • 相关研究
    近期在这个领域的相关研究包括:网络剪枝和对抗训练等方法在人工神经网络上的应用,以及使用进化算法进行神经网络剪枝的研究。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论