Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion

类增量学习是一个具有挑战性的问题，其目标是训练一个模型，可以随着时间的推移对越来越多的类别进行分类。随着视觉语言预训练模型（如CLIP）的进步，它们展示了良好的泛化能力，使它们在完全冻结参数的情况下在类增量学习方面表现出色。然而，通过简单微调模型进行下游任务的进一步适应会导致严重的遗忘。大多数现有的预训练模型工作假定当模型获得新知识时，旧类别的遗忘是均匀的。在本文中，我们提出了一种名为自适应表示调整和参数融合（RAPF）的方法。在训练新数据时，我们使用文本特征来衡量新类别对旧类别的影响并调整表示。训练后，我们采用分解的参数融合来进一步减轻适配器模块微调期间的遗忘。在几个传统基准测试上的实验表明，我们的方法实现了最先进的结果。我们的代码可在\url{https://github.com/linlany/RAPF}上获得。

本文试图解决类增量学习中遗忘问题，即如何让模型在学习新类别时不会忘记之前学习的旧类别。

本文提出了一种名为自适应表示调整和参数融合（RAPF）的方法。在训练新数据时，使用文本特征来衡量新类别对旧类别的影响，并调整表示。在训练后，使用分解参数融合来缓解适配器模块微调期间的遗忘。

实验表明，RAPF方法在多个基准测试中取得了最先进的结果。作者提供了开源代码，可在GitHub上获得。本文的亮点包括使用文本特征来衡量新类别对旧类别的影响，以及使用分解参数融合来缓解适配器模块微调期间的遗忘。

最近的相关研究包括：《Lifelong Learning with Dynamically Expandable Networks》、《Continual Learning with Adaptive Weights》等。