Self-regulating Prompts: Foundational Model Adaptation without Forgetting

解决问题：本文旨在解决prompt learning中的过拟合问题，提出了一种名为PromptSRC的自我正则化框架，旨在同时优化任务特定和任务不可知的一般表示。

关键思路：PromptSRC采用三个步骤对prompt进行自我正则化：（a）通过最大化与冻结模型的互相一致性来调节prompt表示；（b）通过prompt的自我集合来调节它们的补充优势；（c）通过文本多样性来减轻样本多样性不平衡。相比现有的研究，PromptSRC明确地引导prompt学习一个表示空间，既能够在下游任务中实现良好的性能，又不会牺牲CLIP的泛化能力。

其他亮点：本文在四个基准测试中进行了广泛的实验，结果表明PromptSRC相对于现有方法表现良好。作者已经公开了代码和预训练模型。

关于作者：Muhammad Uzair Khattak、Syed Talal Wasim、Muzammal Naseer、Salman Khan和Fahad Shahbaz Khan都是来自巴基斯坦国立大学拉合尔分校计算机科学系的研究人员。他们之前的代表作包括：“Learning to Learn Single Domain Generalization”（Muhammad Uzair Khattak等人，ICCV 2019）和“Learning Combinatorial Embedding Networks for Deep Graph Matching”（Muzammal Naseer等人，CVPR 2019）。

相关研究：近期的相关研究包括：“Learning to Learn from Noisy Labels with Distillation”（Yanbei Chen等人，CVPR 2021）和“Zero-Shot Object Detection”（Kevin Murphy等人，CVPR 2021）。

论文摘要：自我调节提示：无需遗忘的基础模型适应 Muhammad Uzair Khattak、Syed Talal Wasim、Muzammal Naseer、Salman Khan、Ming-Hsuan Yang、Fahad Shahbaz Khan 提示学习已成为微调基础模型（如CLIP）以适应各种下游任务的有效替代方法。传统上，提示使用任务特定目标（即交叉熵损失）进行训练，往往会过度拟合下游数据分布，并且难以从冻结的CLIP中捕捉任务不可知的通用特征。这导致模型的原始泛化能力丧失。为了解决这个问题，我们的工作引入了一个自我正则化框架，称为PromptSRC（自我调节约束提示）。PromptSRC通过三重方式指导提示进行优化，以实现任务特定和任务不可知的通用表示，具体方法包括：（a）通过最大化与冻结模型的互相协议来调节提示表示，（b）通过提示自我集合来调节提示在训练轨迹上的互补优势，（c）通过文本多样性来调节提示与视觉分支的样本多样性不平衡。据我们所知，这是提示学习的第一个正则化框架，通过联合关注预训练模型特征、提示过程中的训练轨迹和文本多样性，避免过度拟合。PromptSRC明确引导提示学习一个表示空间，最大化下游任务的性能，而不会损害CLIP的泛化能力。我们在4个基准测试上进行了广泛的实验，其中PromptSRC总体表现优于现有方法。我们的代码和预训练模型可在以下网址公开获取：https://github.com/muzairkhattak/PromptSRC。

内容中包含的图片若涉及版权问题，请及时与我们联系删除