本文梳理了一些Transformer常用的轻量化方法，并分领域的介绍了一些主流的轻量化Transformer。
近年来，Transformer模型在人工智能的各个领域得到了广泛应用，成为了包括计算机视觉，自然语言处理以及多模态领域内的主流方法。尽管Transformer在大部分任务上拥有极佳的性能，其过大的参数量限制了在现实场景下的应用，也给相关研究带来了困难，由此带来了Transformer轻量化领域的发展。笔者首先梳理了一些Transformer常用的轻量化方法，并分领域的介绍了一些主流的轻量化Transformer。欢迎大家批评指正，相互交流。
预训练模型参数量增长趋势
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢