作者：Peng Xu, Xiatian Zhu, David A. Clifton

简介：Transformer 是一种很有前途的神经网络学习器，在各种机器学习任务中取得了巨大的成功。由于最近多模态应用和大数据的流行，基于 Transformer 的多模态学习已成为 AI 研究的热门话题。本文对面向多模态数据的 Transformer 技术进行了全面调查。本次综述研究的主要内容包括：（1）多模态学习、Transformer 生态系统和多模态大数据时代的背景。（2）从几何拓扑的角度对 Vanilla Transformer、Vision Transformer 和多模态 Transformer 的理论回顾。 (3) 通过两个重要的范式，即多模态预训练和特定的多模态任务，回顾多模态 Transformer 应用程序。（4）总结多模式Transformer模型和应用共享的常见挑战和设计。（5）讨论社区中的开放问题和潜在研究方向。

 

 

 

论文下载：https://arxiv.org/pdf/2206.06488

内容中包含的图片若涉及版权问题，请及时与我们联系删除