Advancing Cross-domain Discriminability in Continual Learning of Vison-Language Models

本文介绍了利用视觉-语言模型（VLMs）进行持续学习（CL）的方法，克服了传统CL只关注先前遇到的类的限制。在VLMs的CL过程中，我们不仅需要防止灾难性遗忘，还需要保留VLMs的零样本能力。然而，现有方法需要额外的参考数据集来维护这种零样本能力，并依赖于领域身份提示来对不同领域的图像进行分类。本研究提出了基于回归分析的增量学习（RAIL）方法，利用递归岭回归适配器以非遗忘方式从一系列领域中进行学习，并通过将特征投影到高维空间来解耦跨域相关性。与无需训练的融合模块合作，RAIL绝对保留了VLMs在未见领域上的零样本能力。此外，我们引入了跨域任务不可知增量学习（X-TAIL）设置。在这个设置中，CL学习器需要从多个领域中进行增量学习，并在没有任何领域身份提示的情况下对来自已见和未见领域的测试图像进行分类。我们在理论上证明了RAIL在增量学习的领域上的绝对记忆能力。实验结果证实了RAIL在X-TAIL和现有的多域任务增量学习设置中的最先进性能。代码将在被接受后发布。

本文旨在解决持续学习（CL）中的灾难性遗忘和保留VLM的零样本能力的问题，同时提出了跨域任务无关增量学习（X-TAIL）的设置。

本文提出了基于回归的分析增量学习（RAIL）方法，通过递归岭回归适配器在不遗忘的情况下从一系列域中学习，并通过将特征投影到更高维的空间中来解耦跨域相关性。同时，与一个无需训练的融合模块合作，RAIL能够在没有任何参考数据的情况下绝对保留VLM的零样本能力。

本文提出的RAIL方法在X-TAIL和现有的多域任务增量学习设置中表现出了最先进的性能。实验结果表明，RAIL可以在没有任何领域身份提示的情况下，从多个域中增量学习并对来自已见和未见域的测试图像进行分类。本文还引入了X-TAIL设置，这是一个新的设置，要求CL学习器在没有任何领域身份提示的情况下增量学习并分类测试图像。

与本文相关的研究包括传统的持续学习方法以及最近的基于元学习的方法。其中一些论文包括“Learning without Forgetting”、“Gradient Episodic Memory for Continual Learning”和“Meta-Experience Replay for Continual Learning”。