PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models

本研究探讨了在高维度中不充分表示位置编码对注意机制的关键方面、模型学习相对位置信息的能力和模型收敛性的影响，这些问题源于正弦基函数的选择。通过理论洞见和实证分析相结合，我们阐明了这些挑战超越了APE，可能会对相对位置编码（如RoPE）方法的性能产生负面影响。随后，我们提出了一种创新的解决方案，称为正交多项式基位置编码（PoPE），以解决现有方法所带来的一些限制。PoPE方法通过利用正交勒让德多项式来编码位置信息。勒让德多项式作为基函数，具有几个理想的位置编码属性，包括改进的相关结构、非周期性、正交性和不同阶数多项式之间的不同函数形式。我们的实验结果表明，采用PoPE的transformer模型在Multi30k英德翻译任务上优于基线transformer模型，从而建立了一个新的性能基准。此外，基于PoPE的transformer表现出显著加速的收敛速度。此外，我们还将基于PoPE的卓越性能提出新的理论观点。

论文旨在研究在高维度下不充分表示位置编码的影响，以及相对位置信息的学习能力和模型收敛的挑战。同时，提出一种新的位置编码方法PoPE，以解决现有方法的局限性。

PoPE方法利用正交Legendre多项式编码位置信息，具有改善相关结构、非周期性、正交性和不同阶多项式之间不同的函数形式等优点。

实验结果表明，采用PoPE的transformer模型在Multi30k英德翻译任务上表现优于基线模型，并且收敛速度显著加快。此外，论文还提供了PoPE的理论分析，并探讨了位置编码的新视角。

最近的相关研究包括：Relative Positional Encoding (RPE)方法，如Rotatory Positional Encoding (RoPE)。