transformer模型的提出，深刻地改变了NLP领域，特别是随后的一系列基于Transformer的大规模预训练语言模型，在NLP中开启了一种新的模型训练范式：先在大规模无标注文本上pre-train模型，再使用任务特定的小数据对模型进行fine-tuning。之所以说在“NLP中开启了”是因为在CV中，这种训练模式早已成为了一种主流方法，这也算是NLP借鉴了CV领域成功的经验。如今CV的研究者们看着Transformer在NLP中取得了如此大的成功，便想看看其在CV中的潜力，于是便将Transformer引入到了CV中。最近的一些改进更是刷新了CV中几大任务的榜，如Swin Transformer刷新了COCO上的目标检测，ADE20K上的语义分割等。 本文主要介绍了 Transformer 在计算机视觉中的应用。

内容中包含的图片若涉及版权问题，请及时与我们联系删除