凭借着强大的泛化能力，预训练模型在CV和NLP领域的一系列任务上取得巨大成功。尤其是自以Transformer为架构的预训练模型在NLP领域大放异彩之后，多模态领域也尝试引入Transformer融合不同模态之间的交互，从而走上了预训练模型的这条道路。笔者对ICML2021, ACL2021, NIPS2021, EMNLP2021, ACL2022 ARR, 以及近期挂在arXiv上的一些工作进行了分类与解读。

 

本文主要从以下几个方面对近期多模态预训练模型的工作进行介绍：预训练模型、多模态prompt、多模态预训练分析、知识迁移和知识蒸馏。

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除