「理解和生成」的大一统！华人一作提出BLIP模型，「视觉+语言」任务多项SOTA

视觉语言预训练（Vision-language pre-training）的相关研究在各种多模态的下游任务中已经证明了其强大的实力。

但目前的模型和方法还存在两个主要的缺陷：

1、从模型角度来看，大多数方法要么采用基于编码器的模型，要么采用编码器-解码器模型。然而，基于编码器的模型不太容易直接迁移到文本生成的任务中，如图像标题（image captioning）等；而编码器-解码器模型还没有被成功用于图像-文本检索任务。

2、从数据角度来看，大多数sota的方法，如CLIP, ALBEF, SimVLM 都是对从网上收集的图像-文本对（image-text pair）进行预训练。尽管可以通过扩大数据集的规模来获得性能上的提高，但研究结果显示，有噪声的网络文本对于视觉语言学习来说只能得到次优的结果。

为此，研究人员提出了一个新的模型BLIP（Bootstrapping Language-Image Pre-training），可以统一视觉语言理解和生成，目前代码在GitHub上已取得超150个Stars。

论文地址：https://arxiv.org/abs/2201.12086

项目地址：https://github.com/salesforce/BLIP

试玩地址：https://huggingface.co/spaces/akhaliq/BLIP

图 模型架构图

内容中包含的图片若涉及版权问题，请及时与我们联系删除