论文链接：https://arxiv.org/abs/2206.06488

Transformer是一种很有前途的神经网络学习器，在各种机器学习任务中都取得了很大的成功。随着近年来多模态应用和大数据的普及，基于Transformer 的多模态学习已成为人工智能研究的热点。本文介绍了面向多模态数据的Transformer 技术的全面综述。本次综述的主要内容包括:(1)多模态学习、Transformer 生态系统和多模态大数据时代的背景，(2)从几何拓扑的角度对Vanilla Transformer、Vision Transformer和多模态Transformer 进行理论回顾，(3)通过两个重要的范式，即多模态预训练和具体的多模态任务，对多模态Transformer 的应用进行回顾。(4)多模态Transformer 模型和应用共享的共同挑战和设计的总结，以及(5)对社区的开放问题和潜在研究方向的讨论。

内容中包含的图片若涉及版权问题，请及时与我们联系删除