G-ACIL: Analytic Learning for Exemplar-Free Generalized Class Incremental Learning

Class incremental learning (CIL) 是一种在顺序任务中训练网络的方法，其中任务之间的类别是分开的，但是它会遭受灾难性遗忘的问题，即当获取新任务时，模型会迅速丢失先前学习的知识。广义 CIL (GCIL) 旨在解决更真实的情况下的 CIL 问题，即输入数据具有混合的数据类别和未知的样本大小分布，导致遗忘现象更加严重。现有的 GCIL 尝试要么表现不佳，要么通过保存历史样本侵犯数据隐私。为了解决这个问题，本文提出了一种无样本广义解析类增量学习 (G-ACIL)。G-ACIL 采用解析学习 (一种无梯度的训练技术)，并针对 GCIL 场景提供了解析解 (即闭式解)。这个解是通过将输入数据分解为暴露和未暴露类别来推导的，从而实现了增量学习和联合训练之间的等价性，即权重不变性质。这种等价性在矩阵分析工具的理论验证下得到了证明，因此在 GCIL 中具有解释性。实验结果表明，与现有的竞争 GCIL 方法相比，G-ACIL 具有领先的性能和高鲁棒性。代码将会在 https://github.com/ZHUANGHP/Analytic-continual-learning 上准备就绪。

本论文旨在解决类增量学习中的灾难性遗忘问题，并提出一种无样本存储的解决方案，即G-ACIL。

G-ACIL采用解析学习技术，并将数据分解为已知类别和未知类别，从而实现增量学习和联合训练的等价性，即权重不变性。该方案在GCIL领域具有新颖性和可解释性。

论文通过矩阵分析工具在理论上验证了等价性，并在多个数据集和GCIL设置下进行了实验，表现出高鲁棒性和领先的性能。该方案没有侵犯数据隐私，并提供了开源代码。

与本论文相关的研究包括：《Class-incremental learning with dual-memorization》、《Gradient Episodic Memory for Continual Learning》等。