Beyond position: how rotary embeddings shape representations and memory in autoregressive transfomers

旋转位置编码（RoPE）增强了Transformer模型中的位置编码，但其对模型动态的全部影响仍有待深入探索。本文研究了RoPE如何引入依赖于位置的旋转，导致词嵌入中的相位偏移，从而影响模型内部表示中的高频成分。通过频谱分析，我们展示了RoPE的旋转矩阵如何在嵌入中引起振荡行为，影响跨层的信息保留，并塑造时间建模能力。我们还表明，前馈网络中的激活函数与经过RoPE调制的嵌入相互作用，生成谐波，根据相位对齐情况产生建设性或破坏性的干涉。我们的研究发现，相位对齐会放大激活并使注意力更加集中，而相位错位则会削弱激活并扰乱对位置模式的关注。本研究强调了频率成分作为模型行为内在元素的重要性，为传统分析提供了新的见解。

该论文旨在探讨旋转位置编码（Rotary Positional Embeddings, RoPE）如何影响Transformer模型内部表示的动力学特性。这是一个相对新颖的问题，尽管RoPE在提高模型性能方面已经显示出优势，但其对模型动力学的具体影响尚未得到充分探索。

论文的关键思路是通过频谱分析方法研究RoPE引入的位置依赖旋转如何导致嵌入向量中的相位偏移，进而影响模型内部表示中的高频成分。与现有研究不同，本文不仅关注RoPE的静态效果，还深入分析了其动态行为，特别是相位对齐如何影响激活函数和注意力机制。

论文通过详细的实验设计展示了RoPE如何在嵌入向量中引入振荡行为，并分析了这些振荡如何在不同的网络层中传递。实验使用了多种数据集，包括语言建模和序列分类任务的数据集。此外，论文还提供了开源代码，以便其他研究者复现和扩展实验。未来的研究可以进一步探索不同类型的相位对齐策略，以优化模型的时序建模能力。

近年来，关于Transformer模型中位置编码的研究非常活跃。相关研究包括《On the Importance of Initialization and Momentum in Deep Learning》、《Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention》和《Revisiting Positional Encodings in Language Models》。这些研究从不同的角度探讨了位置编码的重要性及其对模型性能的影响。