Efficient Transformers: A Survey

论文链接：https://arxiv.org/abs/2009.06732

本文对Transformer进行全面调研，28页综述，共计50+篇参考文献！介绍了许多最新的效率高的"X-former"模型，提供了一个有组织且全面的，跨多个领域的现有工作和模型的概述。作者单位：Google Research

Transformer 模型体系结构最近在语言，视觉和强化学习等多个领域中都发挥了巨大的作用，因此引起了极大的兴趣。 例如，在自然语言处理领域，Transformers已成为现代深度学习stack中不可或缺的模块。最近，已经提出了大佬X-former 模型，如：Reformer，Linformer，Performer，Longformer，仅举几例-改进了原始的Transformer体系结构，其中许多改进了计算和内存效率。为了帮助狂热的研究人员渡过这一难关，本文介绍了许多最新的效率高的"X-former"模型，这些模型经过深思熟虑，提供了一个有组织且全面的，跨多个领域的现有工作和模型的概述。

内容中包含的图片若涉及版权问题，请及时与我们联系删除