多模态机器学习领域，为特定任务而制作的人工标注数据昂贵，且不同任务难以进行迁移而需要大量重新训练，导致训练多个任务的效率低下和资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练，对数据集中不同模态的信息进行提取和融合，以学习其中蕴涵的通用知识表征，从而服务于广泛的相关下游视觉语言多模态任务，这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据，以及以自监督学习为代表的预训练技术方法的进步，视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒，提升了多个任务训练的效率并促进了具体任务的性能表现。为总结视觉语言多模态预训练领域的进展，本文首先对常见的预训练数据集和预训练方法进行了汇总，然后对目前最新的以及近年来经典的方法进行系统概述，按输入来源分为了图像-文本预训练模型和视频-文本多模态模型两大类，阐述了各方法之间的共性和差异，并将各模型在具体下游任务上的实验情况进行了汇总。最后，本文总结了视觉语言预训练面临的挑战和未来发展趋势。

论文地址：http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=202203030000003&journal_id=jig

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除