继2015年在Nature上发表“Deep Learning”一文以来，近期，2018年图灵奖获得者、“深度学习三巨头”Yoshua Bengio、Yann LeCun、Geoffrey Hinton再次联手，在ACM Communication上发表文章“Deep Learning for AI”，回顾了近年来深度学习的基本概念和一些突破性成就，描述深度学习的起源，以及讨论一些未来的挑战。
原文：Deep Learning for AI ，Communications of the ACM, July 2021, Vol. 64 No. 7, Pages 58-65
作者：Yoshua Bengio, Yann LeCun, Geoffrey Hinton
人工神经网络的研究源于以下观察：人类智能来自于高度并行的、相对简单的非线性神经元网络，这些神经元通过调整其连接的强度来学习知识。这一观察引发出一个核心计算问题：这种一般类型的网络如何学习识别物体或理解语言等困难任务所需的复杂内部表示呢？深度学习试图通过深度表征向量和最优化损失函数得到的权重链接来回答这个问题。
非常令人惊讶的是，这种概念上简单的方法在使用大量计算资源和大型训练集时被实验证明是如此有效，而且似乎一个关键因素是深度，即浅层网络无法正常工作。
本文，我们将回顾近年来深度学习的基本概念和一些突破性成就，描述深度学习的起源，以及讨论一些未来的挑战。
这些挑战包括在很少或没有外部监督的情况下进行学习，处理来自与训练样本不同分布的测试样本，以及使用深度学习方法，用于那些人类通过一系列步骤有意识地解决的任务 —— 即 Kahneman 称之为 system 2 而非 system 1 的任务，例如对象识别或即时自然语言理解。system 1 的任务往往更轻松。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢