作者：Yue Zhang, Hongliang Fei, Dingcheng Li,等 

简介：本文聚焦研究预训练视觉语言模型上的小样本图像识别任务、并提出基于原型的Prompt学习方法PTP，以克服任务级提示和实例级提示的局限性。Prompt 学习是一种新的学习范式，旨在通过利用文本提示将下游任务重新定义为预训练模型上的类似预训练任务。最近的工作表明，Prompt 学习对于训练数据有限的小样本学习特别有用。根据提示的粒度，这些方法大致可以分为任务级提示和实例级提示。任务级提示方法为所有输入样本学习一个通用提示，这对于捕获不同类之间的细微差异是有效的但整体上无效。实例级提示方法学习每个输入的特定提示，虽然有效但效率低下。在这项工作中，作者开发了一种新颖的基于原型的快速学习方法来克服上述的局限性。特别是，作者专注于预训练视觉语言模型（PVLMs）上的小样本图像识别任务，并开发了一种通过原型（PTP）进行提示的方法，其中作者定义了K个图像原型和K个提示原型。在 PTP 中，图像原型表示潜在空间中某个图像簇的质心，提示原型定义为连续空间中的软提示。查询图像和图像原型之间的相似性决定了这个预测在多大程度上依赖于相应的提示原型。因此，在 PTP 中，相似的图像会使用相似的提示方式。通过对七个真实世界基准的广泛实验，实验结果表明： PTP 是一种利用潜在知识并适应各种 PVLM 的有效方法。此外，通过详细分析，作者还讨论了在小样本学习的背景下Prompt 学习和参数有效微调的优缺点。

论文下载：https://arxiv.org/pdf/2210.10841.pdf

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除