反向传播技术是深度学习的核心，驱动了AI在视觉、语音、自然语言处理、游戏、生物预测等诸多领域的成功。反向传播的运行机制是通过反向的方式计算预测误差对神经网络连接权重的梯度，并通过微调每一层的权重来减少预测误差。尽管反向传播非常高效，是目前人工智能成功的关键，但是相当一部分研究人员并不认为反向传播的学习方法同大脑的工作方式是一致的。

随着深度学习技术的发展，大家也逐步看到了反向传播的一些弊端，例如对于标签数据和算力的过度依赖、存在一系列的对抗安全问题、只能针对特定的任务等，而且也引发了大家对发展大模型的一些顾虑。

例如反向传播提出的作者之一也是深度学习先驱Hinton就多次表示，“如果要想实现实质进展，必须摈弃反向传播，从头再来[2]”，“我目前的信念是，反向传播，也即目前深度学习的工作方式，与大脑所作的完全不同，大脑是以不同的方式来获得梯度的[3]”, “我相信大脑使用了很多局部小的目标函数，它不是一种端到端的系统链，通过训练来优化目标函数[3]”。

同是图灵奖得主的LeCun则表示“目前的深度学习模型可能是未来智能系统的一个组成部分，但我认为它缺少必要的部分。我认为它们是必要的，但还不够[4]”。他的老对头，纽约大学教授Gary Marcus表示同样的内容之前都说过“如果我们要实现通用人工智能，深度学习必须得到其他技术的补充[4]”。

 

阅读详情

内容中包含的图片若涉及版权问题，请及时与我们联系删除