过去十年，深度学习取得了惊人的胜利，用大量参数和数据做随机梯度下降的方法已经被证明是有效的。而梯度下降使用的通常是反向传播算法，所以一直以来，大脑是否遵循反向传播、是否有其它方式获得调整连接权重所需的梯度等问题都备受关注。

图灵奖得主、深度学习先驱 Geoffrey Hinton 作为反向传播的提出者之一，在近年来已经多次提出，反向传播并不能解释大脑的运作方式。相反，他正在提出一种新的神经网络学习方法——前向-前向算法（Forward‑Forward Algorithm，FF）。
在最近的 NeurIPS 2022 大会上，Hinton 发表了题目为《The Forward-Forward Algorithm for Training Deep Neural Networks》的特邀演讲，论述了前向算法相比于反向算法的优越性。论文的初稿《The Forward-Forward Algorithm: Some Preliminary Investigations》已经放在了其多伦多大学的主页上：

图片

论文地址：https://www.cs.toronto.edu/~hinton/FFA13.pdf
阅读详情

内容中包含的图片若涉及版权问题，请及时与我们联系删除