Neuron-centric Hebbian Learning

2024年02月16日
  • 简介
    大脑学习机制中最引人注目的能力之一是通过结构和功能可塑性适应其突触。虽然突触在整个大脑中传递信息起着基础性的作用,但是多项研究表明,突触的改变是由神经元的激活产生的。然而,大多数用于人工神经网络(NN)的可塑性模型,例如ABCD规则,都是侧重于突触而不是神经元,因此优化突触特定的Hebbian参数。然而,这种方法增加了优化过程的复杂性,因为每个突触都与多个Hebbian参数相关联。为了克服这种局限性,我们提出了一种新的可塑性模型,称为神经元中心的Hebbian学习(NcHL),其中优化侧重于神经元而不是突触特定的Hebbian参数。与ABCD规则相比,NcHL将参数从$5W$降低到$5N$,其中$W$和$N$分别是权重和神经元的数量,通常$N \ll W$。我们还设计了一种“无权重”的NcHL模型,通过基于神经元激活的记录来近似权重,从而需要更少的内存。我们在两个机器人运动任务上的实验表明,尽管使用的参数少了近97倍,但NcHL的表现与ABCD规则相当,从而实现了可扩展的可塑性。
  • 作者讲解
  • 图表
  • 解决问题
    提出一种新的神经可塑性模型Neuron-centric Hebbian Learning (NcHL),试图通过优化神经元特定的Hebbian参数来替代优化突触特定的Hebbian参数,从而减少优化过程中的复杂度。
  • 关键思路
    通过优化神经元特定的Hebbian参数来实现神经可塑性,相比当前优化突触特定的Hebbian参数的方法,NcHL能够减少优化参数的数量,从而提高可扩展性。
  • 其它亮点
    NcHL模型将优化参数的数量从5W减少到5N,减少了优化过程的复杂度;同时还提出了一种“无权重”的NcHL模型,通过记录神经元激活来近似权重,从而减少了内存需求。实验结果表明,NcHL模型的性能与当前优化突触特定的Hebbian参数的方法相当,但使用的参数数量少了近97倍,具有更好的可扩展性。
  • 相关研究
    相关研究包括ABC模型等优化突触特定的Hebbian参数的方法。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问