强化学习智能体中神经元棘波的高温提取

【作者团队】Ling Zhang,Jian Cao,Yuan Zhang,Bohan Zhou,Shuo Feng

【论文链接】https://arxiv.org/ftp/arxiv/papers/2108/2108.10078.pdf

【推荐理由】脉冲神经网络（SNN）与深度神经网络（DNN）相比，处理速度更快，能耗更低，生物可解释性更强，有望接近强人工智能。强化学习类似于生物学中的学习。研究 SNN 与 RL 的结合具有重要意义。本文提出了带有 STBP 的棘波提取网络（SDN）的强化学习方法。该方法使用提取有效地避免了STBP的弱点，在分类上可以达到SOTA性能，并且可以获得更小、更快收敛和更低功耗的SNN强化学习模型。实验表明，本文的方法可以比传统的 SNN 强化学习和 DNN 强化学习方法收敛得更快，大约快 1000 个 回合，并获得比 DNN 小 200 倍的 SNN。本文还在PKU nc64c芯片上部署了SDN，证明SDN的功耗比DNN低，在大规模设备上SDN的功耗比DNN低600多倍。SDN提供了一种新的SNN强化学习方式，可以实现SOTA性能，证明了SNN强化学习进一步发展的可能性。