Rethinking Class-Incremental Learning from a Dynamic Imbalanced Learning Perspective

深度神经网络在不断学习新概念时会遭受灾难性遗忘。本文从数据不平衡的角度分析了这个问题。我们认为旧任务数据和新任务数据之间的不平衡导致了旧任务的遗忘。此外，增量学习过程中不平衡比例的增加进一步加剧了这个问题。为了解决动态不平衡问题，我们提出了统一原型对比学习（UPCL），学习均匀而紧凑的特征。具体地，我们在每个任务开始之前生成一组不可学习的均匀原型。然后我们将这些均匀原型分配给每个类别，并通过原型对比学习来引导特征学习。我们还动态调整旧类别和新类别之间的相对间隔，以保持特征分布的平衡和紧凑性。最后，我们通过广泛的实验表明，所提出的方法在包括CIFAR100、ImageNet100和TinyImageNet在内的几个基准数据集上实现了最先进的性能。

解决问题：论文尝试解决深度神经网络在不断学习新概念时所遭受的灾难性遗忘问题。

关键思路：通过数据均衡的角度分析这个问题，提出了Uniform Prototype Contrastive Learning (UPCL)方法，通过生成一组不可学习的均衡原型，并通过原型对比学习来指导特征学习，动态调整旧任务和新任务之间的相对边距，以保持特征分布的均衡和紧凑。

其他亮点：论文在多个基准数据集上进行了广泛的实验，包括CIFAR100、ImageNet100和TinyImageNet，并取得了最先进的性能。此外，论文还提供了开源代码。

相关研究：最近的相关研究包括《Overcoming catastrophic forgetting with hard attention to the task》、《Continual learning with deep generative replay》等。