标题：复旦|A Survey of Transformers（变换器调查）

简介：变换器在自然语言处理、计算机视觉和音频处理等诸多人工智能领域取得了巨大的成功。到目前为止，有各种各样的变换器变体（又名 X-former）。在本次调查中，我们对各种 X-former 进行了全面审查。我们先简要介绍原始变换器，然后提出新的 X-former 分类法，接下来我们从架构修改、预训练、应用三个角度分析各种X-former。