Soft Prompt Generation for Domain Generalization

大型预训练视觉语言模型（VLMs）在具有手动设计提示的下游任务中展示了令人印象深刻的零-shot能力，但这些提示并不适用于特定领域。为了进一步使VLMs适应下游任务，提出了软提示来替代手动设计的提示，软提示充当学习向量，根据特定领域数据进行微调。以前的提示学习方法主要学习固定的提示和残留的提示来自训练样本。然而，学习到的提示缺乏多样性，忽略了关于未见领域的信息，可能会影响提示的可转移性。在本文中，我们从生成模型的角度重新构建提示学习框架，并提出了一种简单而高效的域泛化（DG）任务方法，即软提示生成（SPG）。据我们所知，我们是第一个在VLMs中引入生成模型进行提示学习并探索其通过仅依赖于生成模型产生软提示的潜力，确保提示的多样性。具体而言，SPG包括两个阶段的训练和一个推理阶段。在训练阶段，我们为每个领域引入软提示标签，旨在整合生成模型的领域知识。在推理阶段，生成模型的生成器被用于获得针对未见目标领域的实例特定的软提示。对三个DG任务的五个域泛化基准测试的广泛实验表明，我们提出的SPG达到了最先进的性能。代码将很快提供。

本文旨在解决大型预训练视觉语言模型（VLMs）在下游任务中使用手动设计的提示的零-shot能力仍不足的问题，提出了一种基于生成模型的软提示生成方法（SPG）来增强提示的多样性和泛化能力。

SPG方法从生成模型的角度重新构建提示学习框架，通过两个阶段的训练和推理过程生成具有多样性的实例特定软提示，以提高提示的泛化能力。

本文通过在五个领域泛化基准测试中进行广泛实验，证明了SPG方法在三个领域泛化任务中均取得了最先进的性能。此外，本文提出的SPG方法还具有可扩展性和灵活性，并且代码将很快公开。

相关研究包括使用不同的提示学习方法来提高VLMs下游任务的泛化能力，例如residuled prompt learning和fixed prompt learning。