Towards Non-Exemplar Semi-Supervised Class-Incremental Learning

深度神经网络在封闭世界场景中表现出色。然而，在实际应用中不断出现新的类别，因此需要进行增量学习。类增量学习（CIL）旨在逐步识别新类别的同时保持旧类别的区分度。现有的CIL方法存在两个限制：一是过于依赖于保留旧数据以减轻遗忘，二是需要大量标记数据进行知识适应。为了克服这些问题，我们提出了一种基于对比学习和半监督增量原型分类器（Semi-IPC）的非示例半监督CIL框架。一方面，对比学习有助于模型学习丰富的表示，缓解了学习新类别表示和遗忘旧类别表示之间的权衡。另一方面，Semi-IPC使用无监督正则化为每个类别学习原型，使模型能够从部分标记的新数据中增量学习同时保持旧类别的知识。在基准数据集上的实验表明，我们的方法表现出色：不存储任何旧样本并且只使用不到1%的标记，Semi-IPC胜过了先进的基于示例的方法。我们希望我们的工作为未来的CIL研究提供新的见解。代码将公开发布。

如何在类增量学习中，不依赖于保存旧数据的情况下，保持旧类别的可区分性并逐步识别新类别？

论文提出了一种基于对比学习和半监督增量原型分类器（Semi-IPC）的非样本半监督类增量学习框架。对比学习有助于学习丰富的表示，缓解了学习新类别表示和遗忘旧类别表示之间的权衡；Semi-IPC使用无监督正则化为每个类别学习原型，使模型能够从部分标记的新数据中逐步学习，同时保持旧类别的知识。

该方法不需要保存旧样本，并且只使用不到1％的标签，就能在不同数据集上优于先进的基于样本的方法。作者还将代码公开，方便其他研究者复现和使用。

近期的相关研究包括《Learning without Memorizing》、《Continual Learning with Tiny Episodic Memories》等。