在传统的 NLP 单模态领域，表示学习的发展已经较为完善，而在多模态领域，由于高质量有标注多模态数据较少，因此人们希望能使用少样本学习甚至零样本学习。最近两年出现了基于 Transformer 结构的多模态预训练模型，通过海量无标注数据进行预训练，然后使用少量有标注数据进行微调即可。

多模态预训练模型能够通过大规模数据上的预训练学到不同模态之间的语义对应关系。在图像-文本中，我们期望模型能够学会将文本中的“狗”和图片中“狗”的样子联系起来。在视频-文本中，我们期望模型能够将文本中的物体/动作与视频中的物体/动作对应起来。为实现这个目标，需要巧妙地设计预训练模型来让模型挖掘不同模态之间的关联。

内容中包含的图片若涉及版权问题，请及时与我们联系删除