Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner

IIL（Instance-incremental learning）是指不断学习同一类别数据的过程。与CIL（class-incremental learning）相比，IIL很少被探索，因为IIL遭受的灾难性遗忘（CF）较少。然而，在实际部署场景中，类别空间始终是预定义的，持续且具有成本效益的模型升级，以及可能无法获得以前数据的潜在不可用性，是更为重要的需求。因此，我们首先定义了一个更实际的IIL设置，即仅使用新观察来提高模型性能而抵制CF。在新的IIL设置中，需要解决两个问题：1）由于无法访问旧数据而导致的臭名昭著的灾难性遗忘，以及2）由于概念漂移而需要将现有决策边界扩展到新观察。为了解决这些问题，我们的关键见解是适度扩展决策边界以应对失败的情况，同时保留旧边界。因此，我们提出了一种新颖的决策边界感知蒸馏方法，通过将知识巩固到教师模型中来帮助学生学习新知识。我们还在现有数据集Cifar-100和ImageNet上建立了基准。值得注意的是，广泛的实验表明，教师模型可以比学生模型更好地进行增量学习，这颠覆了以前将学生视为主角的基于知识蒸馏的方法。

解决问题的新思路

提出了一种新的Instance-incremental learning (IIL)方法，旨在在保留知识的同时，提高模型性能，同时解决了遗忘和概念漂移问题。通过适度扩展决策边界，将失败案例纳入考虑，同时保留旧边界，使用知识蒸馏方法将知识传递给教师模型以帮助学生模型学习新知识。

论文在Cifar-100和ImageNet数据集上进行了实验，证明了教师模型可以比学生模型更好地进行增量学习。此外，论文提供了开源代码和实验结果，值得进一步研究。

与这个领域的相关研究包括：Class-incremental learning (CIL)和Knowledge distillation-based methods。