本文分享论文『CLIP-Adapter: Better Vision-Language Models with Feature Adapters』，由上海AI Lab&罗格斯大学&港中文联合提出《CLIP-Adapter》，用极简方式微调CLIP中的最少参数！

  • 论文链接：https://arxiv.org/abs/2110.04544

  • 项目链接：https://github.com/gaopengcuhk/clip-adapter

大规模对比视觉语言预训练在视觉表征学习方面取得了显著进展。与由固定的离散标签集训练的传统视觉系统不同，最近的工作引入了一种新的范式，以直接学习在开放词汇表环境中将图像与原始文本对齐。在下游任务中，使用精心选择的文本提示进行Zero-Shot预测。为了避免prompt工程，上下文优化被提出用来学习连续向量作为任务特定的prompt，并使用few-shot训练样本。
在本文中，作者展示了除了prompt tuning之外，还有一种替代方法可以实现更好的视觉语言模型。prompt tuning用于文本输入，但作者提出CLIP-Adapter在视觉或语言分支上使用特征适配器进行微调。
具体而言，CLIP-Adapter采用额外的瓶颈层来学习新特征，并与原始预训练特征进行残差样式的特征混合。因此，CLIP-Adapter在保持简单设计的同时，能够超越上下文优化。各种视觉分类任务的实验和广泛消融研究证明了本文方法的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除