在NLP领域transformer已经是成功地取代了RNN（LSTM/GRU），在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。

本文主要介绍的是一篇谷歌2020年9月份在arXiv发表的综述论文“Efficient Transformers: A Survey“。文章主要针对一类X-former模型，例如Reformer, Linformer, Performer, Longformer为例，其对原版Transformer做了改进，提高了其计算和内存的效率。感兴趣的可以戳原文阅读。

内容中包含的图片若涉及版权问题，请及时与我们联系删除