Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning

深度表示学习方法在不断学习中遇到了困难，既有有用单元的灾难性遗忘，又有可塑性的丧失，通常是由于刚性和无用的单元。虽然许多方法单独解决了这两个问题，但目前只有少数方法同时处理这两个问题。在本文中，我们介绍了一种新的表示连续学习方法——基于效用的扰动梯度下降（UPGD）。UPGD将梯度更新与扰动相结合，对更有用的单元应用较小的修改，保护它们不被遗忘，对不太有用的单元应用较大的修改，恢复它们的可塑性。我们使用了具有数百个非静态性和未知任务边界的具有挑战性的流式学习设置。我们表明，许多现有方法至少存在其中一种问题，主要表现为它们在任务上的准确性逐渐降低。另一方面，UPGD在所有问题中均继续提高性能，并超过或与所有方法竞争。最后，在扩展的强化学习实验中，我们使用PPO算法展示了，虽然Adam在初始学习后存在性能下降，但UPGD通过处理连续学习的两个问题而避免了这种下降。

解决问题的方案

Utility-based Perturbed Gradient Descent (UPGD) 的方法可以同时解决深度表示学习方法中的灾难性遗忘和可塑性丢失问题，通过对有用单元进行小幅度修改，保护它们不被遗忘，对不太有用的单元进行大幅度修改，使它们恢复可塑性。

论文使用了具有数百个非稳态和未知任务边界的流式学习设置，展示了现有方法在至少一个问题上存在问题，而UPGD在所有问题上均表现优异。此外，在使用PPO进行扩展强化学习实验时，UPGD可以避免Adam在初始学习后出现性能下降的问题。

与本文相关的研究包括：Continual Learning with Deep Generative Replay、Overcoming Catastrophic Forgetting with Hard Attention to the Task、Continual Learning Through Synaptic Intelligence等。