RTRA: Rapid Training of Regularization-based Approaches in Continual Learning

灾难性遗忘是连续学习中的一个重大挑战。在基于正则化的方法中，为了减轻灾难性遗忘，会使用适当的损失函数对后续任务中的重要训练参数进行惩罚。我们提出了RTRA，这是对广泛使用的Elastic Weight Consolidation（EWC）正则化方案的修改，使用自然梯度进行损失函数优化。我们的方法提高了基于正则化的方法的训练效果，而不会牺牲测试数据的性能。我们在iFood251数据集上将所提出的RTRA方法与EWC进行了比较。我们展示了RTRA在最先进方法上具有明显优势。

论文旨在解决连续学习中的灾难性遗忘问题，即在学习新任务时忘记以前学习的任务。

论文提出了一种改进的正则化方法RTRA，使用自然梯度进行损失函数优化，以减轻灾难性遗忘问题。该方法在不牺牲测试数据性能的情况下，改善了正则化方法的训练效果。

论文使用iFood251数据集对RTRA方法和EWC方法进行比较，结果表明RTRA方法优于EWC方法。研究还开源了代码。

与本研究相关的其他研究包括：1. Overcoming Catastrophic Forgetting with Hard Attention to the Task，2. Continual Learning with Deep Generative Replay