Q-SNNs: Quantized Spiking Neural Networks

2024年06月19日
  • 简介
    这篇摘要讲的是脑启发型脉冲神经网络(SNNs)利用稀疏脉冲来表示信息,并以异步事件驱动的方式处理信息,为下一代机器智能提供了一种节能的范式。然而,SNN社区目前的重点是通过开发大规模模型来优化准确性,这限制了它们在资源受限和低功耗边缘设备中的可行性。为了解决这个挑战,我们介绍了一种轻量级且硬件友好的量化SNN(Q-SNN),它将量化应用于突触权重和膜电位。通过显著压缩这两个关键元素,所提出的Q-SNN大大降低了内存使用和计算复杂度。此外,为了防止由于压缩而导致的性能降低,我们提出了一种基于信息熵理论的权重-脉冲双重调节(WS-DR)方法。在包括静态和神经形态等各种数据集上的实验评估表明,我们的Q-SNN在模型大小和准确性方面优于现有方法。这些效率和功效方面的最新成果表明,所提出的方法可以显著改善边缘智能计算。
  • 图表
  • 解决问题
    提出一种轻量级硬件友好的量化脉冲神经网络(Q-SNN)来解决SNN在资源受限和低功耗边缘设备上的可行性问题。
  • 关键思路
    通过对突触权重和膜电位的量化,显著压缩这两个关键元素,从而大大减少内存使用和计算复杂性,并提出了一种基于信息熵理论的新的权重-脉冲双重调节(WS-DR)方法来防止由此引起的性能下降。
  • 其它亮点
    实验评估表明,与现有方法相比,Q-SNN在模型大小和准确性方面均优于现有方法。该方法在效率和功效方面的最新结果表明,可以显著改善边缘智能计算。
  • 相关研究
    最近的相关研究包括“Spiking Neural Network for Object Recognition on SpiNNaker”和“Spiking Neural Networks for Object Detection and Localization: A Review”。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论