活动报名丨《Nature》正刊，强化学习之父Richard Sutton组最新工作

报告主题：Loss of Plasticity in Deep Continual Learning

报告日期：09月18日（周三）10:30-11:30

报告要点:

In this talk, I will present our new work on loss of plasticity in deep continual learning, recently published in Nature. First, I will show that standard deep-learning methods gradually lose plasticity in continual learning settings. I will show such loss of plasticity using the classic ImageNet dataset and reinforcement-learning problems across a wide range of variations in the network and the learning algorithm. Second, I will show that plasticity is maintained indefinitely only by algorithms that continually inject diversity into the network, such as our continual backpropagation algorithm, a variation of backpropagation in which a small fraction of less-used units are continually and randomly reinitialized. Our results indicate that methods based on gradient descent are not enough—that sustained deep learning requires a random, non-gradient component to maintain variability and plasticity. Finally, I will discuss the wider implications of our work on both fundamental research and applications of artificial intelligence. I will end by sharing my perspective on the main opportunities provided by continual learning in our quest to understand and create intelligence.

在这次演讲中，我将介绍我们最近在《自然》杂志上发表的关于深度持续学习中塑性损失的新工作。首先，我将展示标准的深度学习方法在持续学习环境中逐渐失去塑性。我将使用经典的ImageNet数据集和在网络和学习算法的广泛变化中的强化学习问题来展示这种塑性的损失。其次，我将展示只有通过不断向网络注入多样性的算法，如我们的持续反向传播算法，才能无限期地保持塑性。这是一种反向传播的变体，其中一小部分使用较少的单元被持续和随机地重新初始化。我们的结果表明，基于梯度下降的方法是不够的——持续的深度学习需要一个随机的、非梯度的组成部分来保持变异性和塑性。最后，我将讨论我们的工作对人工智能的基础研究和应用的更广泛的影响。我将以分享我对持续学习在我们理解和创造智能的追求中提供的主要机会的观点来结束。

报告嘉宾：

Shibhansh Dohare，阿尔伯塔大学博士生，师从强化学习之父Richard Sutton 和 Rupam Mahmood，将于明年毕业。曾于坎普尔印度理工学院计算机科学与工程专业完成了学士学位。他的长期研究目标是研究大脑运作方式，具体方向是探究产生思维的计算原理。博士期间，他致力于揭示深度学习系统的一个基本问题，即:系统可能会失去学习新事物能力的问题。为解决问题，他开发了连续反向传播算法。他的研究目前已经在Nature以及其他大众媒体（如New Scientist）上发表。