GUIDE: Guidance-based Incremental Learning with Diffusion Models

我们介绍了一种新的持续学习方法——GUIDE，它指导扩散模型重复练习有遗忘风险的样本。现有的生成策略通过从生成模型随机抽样重复练习样本来应对灾难性遗忘。这种方法与基于缓冲区的方法相矛盾，其中抽样策略起着重要作用。我们提出通过将扩散模型与分类器指导技术集成，产生特别针对持续训练模型遗忘信息的重复练习样本，以弥合这一差距。这种方法使得可以从先前任务分布中生成样本，这些样本在最近遇到的类别的情况下更容易被错误分类。我们的实验结果表明，GUIDE显著减少了灾难性遗忘，优于传统的随机抽样方法，并超过了最近的最先进的生成重放持续学习方法。

论文旨在解决连续学习中的灾难性遗忘问题，即当一个模型学习新任务时，它会忘记以前学习的任务。作者提出了一种新的连续学习方法，即使用分类器指导技术来生成具有特定目标的重现样本，以减少遗忘。

论文的关键思路是将扩散模型与分类器指导技术相结合，生成重现样本，以针对被连续训练模型遗忘的信息。这种方法使得可以生成来自先前任务分布的样本，这些样本在最近遇到的类别的上下文中更容易被错误分类。

论文的实验结果表明，与传统的随机抽样方法相比，该方法显著减少了灾难性遗忘，并且在连续学习中具有生成重现的最新方法。作者还提供了开源代码以及使用的数据集。

最近在这个领域中，还有一些相关的研究被进行，如《Continual Learning with Deep Generative Replay》、《Gradient Episodic Memory for Continual Learning》等。