CAPE: Context-Adaptive Positional Encoding for Length Extrapolation

位置编码在Transformer中起着至关重要的作用，极大地影响了模型性能和长度泛化能力。之前的研究引入了绝对位置编码（APE）和相对位置编码（RPE）来区分给定序列中的令牌位置。然而，无论输入数据如何，APE和RPE都在模型训练后保持不变，限制了它们的适应性和灵活性。因此，我们希望所需的位置编码应该是上下文自适应的，并且可以根据给定的注意力进行动态调整。在本文中，我们提出了一种上下文自适应位置编码（CAPE）方法，它基于输入上下文和学习到的固定先验动态地进行语义调整。在真实世界的数据集（Arxiv、Books3和CHE）上的实验证明，CAPE提高了模型在训练长度和长度泛化方面的性能，其中改进是具有统计学意义的。模型可视化表明，我们的模型可以保留局部和反局部信息。最后，我们成功地在序列长度为128时训练了模型，并在评估序列长度为8192时取得了比其他静态位置编码方法更好的性能，揭示了自适应位置编码方法的好处。

本文旨在解决固定位置编码方法（APE和RPE）无法适应不同输入数据的问题，提出了一种上下文自适应的位置编码方法（CAPE）。

本文提出的CAPE方法可以根据输入上下文和学习到的固定先验动态地调整位置编码，从而提高模型性能和长度泛化能力。

本文通过实验验证了CAPE方法在多个真实数据集上的有效性，并且成功地将模型从训练序列长度128扩展到评估序列长度8192，相比其他静态位置编码方法表现更好。此外，本文的模型可视化结果表明，模型可以保留局部和反局部信息。

最近的相关研究包括继续探索位置编码方法的改进，例如利用可学习的位置嵌入和位置注意力机制。相关论文包括《Generating Long Sequences with Sparse Transformers》和《Attention Is All You Need》等。