标题：阿德莱德大学|Rethinking positional encoding（重新思考位置编码）

简介：值得注意的是，基于坐标的 MLP 受益匪浅——在保留高频信息——通过将坐标位置编码为傅里叶特征数组。迄今为止，这些措施的有效性的基本原理位置编码仅通过傅立叶透镜进行研究。在本文中，我们努力通过展示替代的非傅立叶嵌入函数确实可以用于位置编码。而且，我们表明它们的性能完全取决于两者之间的权衡嵌入矩阵的稳定秩和之间的距离保持嵌入坐标。我们进一步确定现在无处不在的傅立叶特征位置映射是满足这些条件的特殊情况。最后，我们提出了一个更一般的理论来分析位置编码基函数。为此，我们开发了必要的理论公式和凭经验验证我们的理论主张在实践中成立。