Continual Learning in Bio-plausible Spiking Neural Networks with Hebbian and Spike Timing Dependent Plasticity: A Survey and Perspective

最近，采用类似Hebbian和Spike-Timing-Dependent Plasticity（STDP）的生物可行学习技术已经引起了人们的重视，以设计能够在边缘连续在线学习的计算高效的人工智能系统。这种新兴的神经形态连续学习系统的关键差异在于，学习必须使用自然顺序接收的数据流进行，而不是传统的基于梯度的离线训练，其中假定静态训练数据集事先可用并随机洗牌以使训练集独立且具有相同分布（i.i.d）。相比之下，本文涉及的新兴神经形态连续学习系统必须以非i.i.d方式即时学习集成新信息，这使得这些系统容易出现灾难性遗忘。为了构建下一代能够在边缘连续学习的神经形态人工智能系统，越来越多的研究团队正在研究使用生物可行的Hebbian神经网络架构和配备STDP学习的脉冲神经网络（SNN）。然而，由于这个研究领域仍然在兴起，因此需要提供一个综合的视角来介绍迄今为止文献中提出的不同方法。为此，本文涵盖了神经形态连续学习领域的一些最新研究成果；提供背景理论以帮助有兴趣的研究人员快速了解关键概念；并根据本文涵盖的不同工作讨论了重要的未来研究问题。希望本文能够为神经形态连续学习领域的未来研究做出贡献。

神经形态学持续学习的综述

使用生物可塑性学习技术，如Hebbian和STDP，进行神经形态学持续学习

论文综述了神经形态学持续学习的不同方法，包括使用Hebbian神经网络架构和STDP学习的SNNs。此外，论文还提供了背景理论，讨论了未来研究问题，并呼吁更多的研究来构建下一代神经形态学AI系统。

最近的相关研究包括“Online Continual Learning with Oja's Rule”、“Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference”、“Continual Learning with Deep Generative Replay”等。