论文推荐：Transformers是RNNs: 基于线性Attention的快速自回归 Transformers

题目：Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention

本文发表在ICML2020上。Transformers在最近的一些任务当中取得了显著的性能，但由于计算复杂度是句子长度n有关的O(n^2)，在长序列中速度非常慢。为了解决这个问题，本工作把Attention表示为线型点积的形式，把复杂度降低到了O(n)。这种新的计算形式支持迭代实现，对自回归编码器进行了加速，取得了相同模型表现下4000倍以上自回归预测速度的提升。论文还讨论了线型Attention和RNN之间的内在关系。本文提出的线性化Attention方法，是降低Transformer计算量的诸多方法中比较典型的一种。

论文地址：https://arxiv.org/abs/2006.16236v2 项目地址：https://linear-transformers.com/

内容中包含的图片若涉及版权问题，请及时与我们联系删除