Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers

本文介绍了少样本类增量学习（FSCIL），旨在使模型适应新的类别，但只有很少的数据（5个样本），同时不会忘记之前学习的类别。最近的许多样本类增量学习（MSCIL）研究利用预训练模型来减少遗忘，并实现更好的可塑性。类似地，本文使用在大规模数据集上预训练的ViT模型来进行少样本设置，其面临低可塑性的关键问题。FSCIL方法从许多样本的第一个任务开始，学习一个非常好的特征提取器，然后从第二个任务开始进入少样本设置。虽然大多数最近的研究都关注如何学习第一个任务，使模型推广到所有未来的少样本任务，但我们在本文中探讨如何使用预训练模型更好地建模少样本数据，而不考虑第一个任务的训练方式。受MSCIL中最近的研究启发，我们探讨了如何使用高阶特征统计量来影响少样本类别的分类。我们确定了从少样本数据中获取良好协方差矩阵的主要挑战，并提出根据语义相似性来校准新类别的协方差矩阵。使用校准的特征统计量与现有方法相结合，显著改善了几个FSCIL基准上的少样本连续分类。代码可在https://github.com/dipamgoswami/FSCIL-Calibration找到。

本文旨在解决少样本类别增量学习（FSCIL）中模型可塑性低的问题，并提出了一种基于预训练模型和语义相似性校准协方差矩阵的方法来提高少样本类别增量学习的性能。

本文使用预训练的ViT模型来提高少样本类别增量学习的性能，并探索了使用高阶特征统计量来影响少样本类别的分类。作者提出了一种校准协方差矩阵的方法，通过语义相似性来帮助模型适应新的类别。

本文的亮点包括使用预训练模型来提高少样本类别增量学习的性能，探索使用高阶特征统计量来影响分类，以及提出了一种新的校准协方差矩阵的方法。作者在多个数据集上进行了实验，并开源了代码。

最近的相关研究包括许多关于少样本类别增量学习的工作，以及使用预训练模型来减少遗忘和实现更好的可塑性的许多样本类别增量学习的工作。