Few Shot Class Incremental Learning using Vision-Language models

深度学习的最新进展在各种监督计算机视觉任务中表现出与人类能力相媲美的出色性能。然而，在模型训练之前假设有包含所有类别的大量训练数据的普遍假设与现实情况常常不符，因为对于新类别的有限数据可用性是常态。这种情况下，需要无缝地将新类别与少量样本集成到训练数据中，要求模型能够灵活地适应这些添加，而不会损害对基类别的性能。为了解决这个问题，研究界提出了几种少样本类别增量学习（FSCIL）的解决方案。 在这项研究中，我们介绍了一种创新的FSCIL框架，利用了语言正则化器和子空间正则化器。在基础训练期间，语言正则化器有助于将从视觉-语言模型中提取的语义信息纳入其中。子空间正则化器有助于在增量训练期间促进模型获取基类别固有的图像和文本语义之间微妙的联系。我们提出的框架不仅使模型能够接受有限数据的新类别，而且还确保保持基类别的性能。为了证实我们方法的有效性，我们在三个不同的FSCIL基准测试上进行了全面的实验，其中我们的框架达到了最先进的性能。

论文旨在解决少样本类别增量学习（FSCIL）中新类别数据有限的问题，同时保持对基础类别的性能。这是一个新的问题。

论文提出了一种创新的FSCIL框架，利用语言正则化器和子空间正则化器，通过语言正则化器和基础训练期间提取的视觉-语言模型中的语义信息，帮助模型在基础训练期间获取图像和文本语义之间的微妙联系，从而适应新类别。

论文在三个不同的FSCIL基准测试上进行了全面的实验，展示了该框架的卓越性能。该框架的亮点包括使用语言正则化器和子空间正则化器，实验设计完备，使用了多个数据集，并提供了开源代码。

最近的相关研究包括：Few-Shot Class-Incremental Learning with Feature Space Partition and Consolidation（使用特征空间分区和巩固进行少样本类别增量学习）和Few-Shot Class-Incremental Learning via Relation Knowledge Distillation（通过关系知识蒸馏进行少样本类别增量学习）。