【论文标题】Gradient Projection Memory for Continual Learning 【作者团队】Gobinda Saha, Isha Garg, Kaushik Roy 【发表时间】ICLR 2021 【论文链接】https://openreview.net/pdf?id=3AOj0RCNC2 【推荐理由】本文提出一种在神经网络的梯度子空间的正交方向上采取梯度迭代来学习新的任务来提升持续学习的性能。本文在benchmark上取得了比SOTA更好的效果。 持续学习而不忘记过去任务的能力是人工学习系统的一个理想属性。现有的在人工神经网络中实现这种学习的方法通常依赖于网络增长、基于重要性的权重更新或从记忆中重播旧数据。相反，本文提出了一种新的方法，神经网络通过在梯度子空间的正交方向上采取梯度迭代来学习新的任务，梯度子空间被认为对过去的任务很重要。利用奇异值分解(SVD)对每个任务进行单次学习后，通过分析网络表示(激活)来寻找这些子空间的基，并以梯度投影记忆(GPM)的形式存储在记忆中。通过定性和定量分析，作者表明这种正交梯度体面诱导最小到不干扰过去的任务，从而减轻遗忘。作者在不同的图像分类数据集上评估我们的算法，这些数据集有短序列和长序列的任务，与最先进的方法相比，本文报告了更好的或同等的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除