Adaptive Memory Replay for Continual Learning

基础模型（FMs）已成为现代人工智能的标志，但这些模型是在大规模数据上训练的，导致训练成本高昂。随着新数据的出现，更新FMs很重要，但可能会导致“灾难性遗忘”，即模型在太久以前观察到的数据子群体相关任务上表现不佳。这种持续学习（CL）现象已经得到广泛研究，但主要是在只能存储少量过去数据的情况下进行的。我们主张记忆丰富的范式，允许我们保留所有以前的数据，但计算资源有限。在这种情况下，传统的重放式CL方法被一个简单的基准线超越，该基准线随机选择以前的数据进行重放，表明这种情况需要一种新的方法。我们通过引入一种适应性记忆重放的框架来解决这个问题，其中将过去数据的采样表述为一个多臂赌博机问题。我们利用Bolzmann采样推导出一种方法，该方法根据当前任务动态选择过去的数据进行训练，假设具有完整的数据访问权限并强调训练效率。通过对视觉和语言预训练任务的广泛评估，我们证明了我们的方法的有效性，该方法在不增加训练效率成本的情况下，减少了遗忘高达10%。

解决问题：论文旨在解决持续学习中的“灾难性遗忘”问题，即在更新模型时，旧数据子集的任务表现下降。同时，论文探讨了在拥有丰富内存但有限计算资源的情况下，如何有效地进行持续学习。

关键思路：论文提出了一种自适应内存重放框架，将选择过去数据的采样视为多臂赌博机问题，并利用Bolzmann采样来动态选择过去数据进行训练，以提高训练效率和减少遗忘。

其他亮点：论文通过在视觉和语言预训练任务上的广泛评估，证明了该方法的有效性。同时，该方法可以减少遗忘，而不会降低训练效率。值得进一步研究。

相关研究：近年来，持续学习领域的相关研究包括《Continual Learning with Deep Generative Replay》、《Gradient Episodic Memory for Continual Learning》等。