Adaptive Discovering and Merging for Incremental Novel Class Discovery

终身学习的一个重要目标是在连续的过程中从未标记的数据中发现新的类别。其中的核心挑战是双重的：在发现和学习新类别的同时，减轻已有知识的灾难性遗忘问题。为此，我们引入了一个新的范例，称为自适应发现和合并（ADM），以在增量阶段自适应地发现新类别，并将新知识集成到模型中，而不影响原有的知识。为了自适应地发现新类别，我们将表示学习和新类别发现分离，并使用三元比较（TC）和概率正则化（PR）来约束概率差异和多样性，以适应性地分配类别。为了自适应地合并学习到的新知识，我们提出了一种基于基础分支和新颖分支的混合结构，称为自适应模型合并（AMM），它减少了新颖分支对旧类别的干扰，以保留以前的知识，并将新颖分支与基础模型合并，而不会影响性能和参数增长。在几个数据集上进行的大量实验证明，ADM明显优于现有的增量式新类别发现（class-iNCD）方法。此外，我们的AMM还通过减轻灾难性遗忘问题，使增量式学习（class-IL）任务受益。

论文试图解决如何在增量学习过程中发现新类别并避免遗忘旧知识的问题。

论文提出了一种自适应发现和合并（ADM）的新范例，通过解耦表示学习和新类别发现，并使用三元比较和概率正则化来约束自适应类别分配的概率差异和多样性。同时，论文提出了一种自适应模型合并（AMM）的混合结构，将新知识与旧知识融合在一起，减少新分支对旧类的干扰。

论文在多个数据集上进行了广泛的实验，证明ADM显著优于现有的增量学习方法。此外，AMM还有助于减轻灾难性遗忘问题。

相关研究包括：Class-iNCD、Class-IL等。