AI 领域有一种称为反向传播的强大算法,它解决了机器的贡献度分配问题,该算法可追溯到 1986 年 Geoffrey Hinton、David Rumelhart和Ronald Williams 的一项工作。现在,它是在最成功的人工智能系统(深度神经网络,在输入层和输出层之间包含人工“神经元”的隐藏层)中为学习提供动力的主力。

今年发表在《自然神经科学》上的一篇论文Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits 中,科研人员提出他们或许找到了与实时工作的大脑等价的替代物。

论文链接:https://www.nature.com/articles/s41593-021-00857-x

这篇论文是由渥太华大学的 Richard Naud ,以及麦吉尔大学和蒙特利尔 AI 算法研究所的 Blake Richards 领导的一组研究人员提出,他们揭示了一种可以模拟大脑学习过程中的反向传播算法的新模型。它的效果看起来如此逼真,以至于引起了实验神经科学家的关注,所以他们现在对研究真正的神经元十分感兴趣,想了解大脑是否真的在做这件事。

反向传播算法本身在生物学上是不合理的,因为真正的神经元是不能停止处理外部世界并等待反向传播开始。Naud 和 Richards 的新模型通过对神经元如何相互交流的规范理解做出一点简单改变从而解决这个问题。以往的工作指出神经元就如字节一样,只有两个输出 1 或 0,要么向另一个神经元发送尖峰信号,要么没有。但是神经元也可以发送如“爆发”一般快速连续的尖峰信号。事实证明,这样做可以改变神经元之间的连接,使得“爆发”信号成为解决贡献度分配问题的自然候选者。在新模型中,该团队认为神经元会发送类似“爆发”这样的第三种输出信号,即:一串连续的 1 就变成了 2。信号“2”不是对外部世界的编码信息,而是充当着教学信号,它告诉其他神经元,根据回路顶部产生的误差,来控制是加强还是削弱神经元之间的联系。但是为了让这个教学信号是在“感觉”处理没有“暂停”的情况下解决贡献度分配问题。Naud 和 Richards 的团队提出模型的另一个关键部分:神经元的顶部和底部具有不同的隔间,它们以完全不同的方式处理神经代码

凭借今天的计算能力,Naud、Richards 和他们的团队成功地模拟了他们的模型,其中爆发神经元扮演了学习规则的角色。他们表明,它解决了称为 XOR 经典任务中的贡献度分配问题,该任务需要学习在两个输入信号,任意一个为 1 时做出的响应。他们还表明,使用他们的爆发规则构建的深度神经网络可以近似反向传播算法,达到其在具有挑战性的图像分类任务上的性能。但该模型仍有改进的余地,因为反向传播算法仍然更准确,并且该模型还不能完全匹配人类的能力。

Naud 说:“这篇论文的主要目标是说明机器的学习过程可以通过生理过程来近似"。