Data-dependent and Oracle Bounds on Forgetting in Continual Learning

简介

在持续学习中，知识必须在任务之间得到保留和重复利用，以保持对未来任务的良好转移，并最小化先前学习任务的遗忘。虽然已经设计了几种实用的算法来解决这个问题，但是在一般情况下，很少有理论工作旨在量化和限制遗忘程度。我们提供了基于数据和基于Oracle的上限，适用于任何模型和算法选择，以及针对Gibbs后验的上限。我们根据我们的上限提出了一种算法，并通过实验证明我们的方法可以改善正向和反向转移。
作者讲解

目前尚无作者解读视频，你可点击下方【许愿开讲】按钮，许愿作者开讲~
图表
解决问题

论文旨在解决在连续学习中，如何保留和重用已学知识，以便将其转移到未来任务中并最小化遗忘。同时，论文还试图量化和限制遗忘程度。
关键思路

论文提出了一种算法，该算法通过数据相关和预测上限来限制遗忘程度，同时提高正向和反向转移。
其它亮点

论文提供了数据相关和预测上限的理论界限，同时提出了一种基于这些界限的算法。实验结果表明，该算法可以提高正向和反向转移。
相关研究

在这个领域中，还有其他一些相关研究，例如《Continual Learning with Deep Generative Replay》和《Gradient Episodic Memory for Continual Learning》等。