Semantic Residual Prompts for Continual Learning

Prompt-tuning方法是用于连续学习的一种方法，它将大型预训练模型冻结，并将训练重点放在称为prompt的少量参数向量上。其中，大多数方法将这些向量组织在一组键值对池中，并使用输入图像作为查询来检索prompt（值）。然而，由于随着任务的进行，键是学习的，因此提示选择策略本身也容易受到灾难性遗忘的影响，这是现有方法经常忽视的问题。为了使选择策略更加稳定，作者提出了一种基于CLIP的两级自适应机制来选择prompt。具体来说，第一级利用标准文本prompt对CLIP文本编码器进行训练，从而得到稳定的类原型。而第二级则使用这些原型以及查询图像作为键来索引第二个池，检索到的prompt用于调整预训练ViT，从而提高其可塑性。作者还提出了一种新颖的残差机制，将CLIP语义转移到ViT层。通过对已建立的CL基准数据集进行广泛分析，作者表明，他们的方法在性能上显著优于现有的CL方法和零样本CLIP测试。值得注意的是，他们的发现即使对于与骨干模型的预训练知识存在相当领域差距的数据集，例如卫星图像和医学数据集，也是正确的。

本篇论文旨在解决连续学习中的提示选择策略不稳定的问题，该问题经常被现有方法忽略。作者提出了一种两级自适应机制，利用CLIP模型的稳定类原型和查询图像作为键来检索提示，以提高提示选择策略的稳定性。

本文提出了一种利用CLIP模型和ViT模型的两级自适应机制，以提高连续学习中的提示选择策略的稳定性。该方法利用CLIP模型的稳定类原型作为第一级提示选择，然后使用这些原型和查询图像作为键来检索第二级提示池，并用检索到的提示来适应预训练的ViT模型。

本文通过在多个连续学习基准测试数据集上进行广泛的实验分析，证明了该方法显著优于现有的连续学习方法和零样本CLIP测试。该方法还在卫星图像和医学数据集上进行了实验，证明了其对于具有与骨干模型预训练知识存在实质性领域差异的数据集仍然有效。此外，该方法还提出了一种新的残差机制，将CLIP语义传递到ViT层。

在最近的相关研究中，还有一些关于连续学习的方法，如Gradient Episodic Memory (GEM)、Continual Learning with Adaptive Weights (CLAW)、Dynamic Task Prioritization (DTP)等。