Visual Prompt Tuning in Null Space for Continual Learning

现有的提示调整方法已经在连续学习中展示出了出色的性能，通过选择和更新视觉转换模型中相关提示来完成。相反，本文旨在通过调整提示，在与先前任务特征张成的子空间正交方向上学习每个任务，以确保不会对已学习的任务产生干扰，从而克服连续学习中的灾难性遗忘。然而，与传统CNN架构中的正交投影不同，ViT架构中的提示梯度正交投影显示出完全不同和更大的挑战，即：1）高阶和非线性的自注意操作；2）由变压器块中的LayerNorm带来的提示分布漂移。从理论上讲，我们最终推导出了两个一致性条件，以实现提示梯度正交投影，为通过视觉提示调整中的自我注意机制消除先前学习知识的干扰提供了理论保证。在实践中，我们提出了一种有效的基于零空间的近似解决方案来实现提示梯度正交投影。广泛的实验结果证明了我们的方法在四个类增量基准测试中的防遗忘效果，以及我们的方法相对于最先进的方法取得了更好的性能。我们的代码可在补充材料中获得。

本文旨在通过调整视觉提示（prompt）的方向，以确保不对已经学习的任务造成干扰，从而解决连续学习中的灾难性遗忘问题。

本文提出了一种有效的基于空间正交投影的视觉提示调整方法，通过理论推导得出了两个一致性条件，以实现视觉提示梯度正交投影。同时，本文还提出了一种有效的基于空间零化的近似解决方案。

本文在四个不同的类别增量基准测试中进行了广泛的实验，并使用多个预训练基线模型，证明了抗遗忘的有效性，同时超越了现有方法的表现。本文的代码在补充材料中公开。

近期的相关研究包括利用视觉提示调整方法进行连续学习的方法，如CLIP、DeiT、ViT等。