- 简介为了开发高效利用资源的人工神经网络,生物启发的脉冲神经网络(SNNs)引起了极大的关注。由于其在低功耗和低内存应用方面的潜力,这些网络尤其具有吸引力。这种潜力进一步增强了其在线本地学习的能力,使其能够适应动态环境。这要求模型以自我监督的方式进行自适应。虽然自我监督学习在许多深度学习领域取得了巨大成功,但其在多层SNNs中进行在线本地学习的应用仍未得到充分探索。在本文中,我们介绍了“EchoSpike预测可塑性”(ESPP)学习规则,这是一种开创性的在线本地学习规则,旨在通过预测和对比编码利用SNNs中的分层时间动态。我们使用基准数据集验证了这种方法的有效性,证明它的表现与当前最先进的监督学习规则相当。ESPP的时间和空间局部性使其特别适合低成本的神经形态处理器,这代表了在开发生物学上可行的自我监督学习模型方面取得了重大进展,以用于边缘神经形态计算。
- 图表
- 解决问题论文旨在开发一种新的在线本地学习规则,以利用生物启发的尖峰神经网络的潜力,以实现低功耗和低内存的应用。
- 关键思路论文介绍了一种名为“EchoSpike Predictive Plasticity”(ESPP)的在线本地学习规则,通过预测和对比编码来利用SNN中的分层时间动态,以实现自适应的自我监督学习。
- 其它亮点论文使用基准数据集验证了ESPP方法的有效性,并表明其与当前最先进的监督学习规则相当。 ESPP的时间和空间局部性使其特别适合低成本的神经形态处理器,代表了在边缘计算中开发生物学上可行的自我监督学习模型的重大进展。
- 最近的相关研究包括:1. 'Supervised Learning in Spiking Neural Networks with ReSuMe: Sequence Learning, Classification, and Spike Shifting' 2. 'Unsupervised Learning of Digit Recognition using Spike-Timing-Dependent Plasticity' 3. 'SpikeProp: Backpropagation for Networks of Spiking Neurons'等。
沙发等你来抢
去评论
评论
沙发等你来抢