Gradual Divergence for Seamless Adaptation: A Novel Domain Incremental Learning Method

本文研究的是领域增量学习（DIL），这在实际场景中面临着重大挑战，因为模型需要随着时间的推移在不同的领域上进行顺序训练，同时避免灾难性遗忘。缓解表示漂移（指学习到的表示随着模型适应新任务而发生变化的现象）可以帮助减轻灾难性遗忘。本研究提出了一种名为DARE的新型DIL方法，具有三个阶段的训练过程：分歧、适应和细化。该过程逐渐将与新任务相关联的表示适应到以前任务的样本所覆盖的特征空间中，同时集成任务特定的决策边界。此外，我们引入了一种新的缓冲区采样策略，并展示了我们提出的方法与此采样策略相结合在减少特征编码器内表示漂移方面的有效性。这个贡献有效地减轻了多个DIL基准测试中的灾难性遗忘。此外，我们的方法防止了在任务边界处突然发生的表示漂移，从而得到一个良好校准的DIL模型，该模型保持了对以前任务的性能。

解决问题：本文旨在解决领域增量学习（DIL）中的灾难性遗忘问题，并提出了一种名为DARE的新方法。

关键思路：DARE方法采用三阶段的训练过程，逐步将新任务相关的表示适应到以前任务的样本所覆盖的特征空间中，同时集成任务特定的决策边界。此外，还引入了一种新的缓冲区采样策略，以减少特征编码器内的表示漂移。

其他亮点：本文的方法有效缓解了多个DIL基准测试中的灾难性遗忘，并防止任务边界处的突然表示漂移，从而得到了一个性能良好的DIL模型。实验使用了多个数据集，并展示了DARE方法的有效性。本文的方法还有待进一步探索。

相关研究：最近的相关研究包括基于记忆的方法和基于模型的方法，如EWC和LwF等。