标题：追一|RoFormer: Enhanced Transformer with Rotary Position Embedding（旋转变换器：以旋转位置嵌入增强变换器）

简介：变换器架构中的位置编码提供了监督元素在序列中的位置信息，并对依赖关系建模。 在基于变换器的语言模型中，我们研究了位置编码方法，提出旋转位置嵌入（RoPE），在绝对位置信息带有旋转矩阵，并且将明确的相对位置相关性纳入自注意。RoPE具有特别性质，可以灵活地扩展到任意序列长度，随着相对距离的增加而减弱的字符间依存关系以及线性自注意力配备相对位置编码。 结果表明，在长文本任务中旋转位置嵌入功能的变换器增强了模型性能。

论文链接：https://arxiv.org/pdf/2104.09864.pdf