Learning High-Frequency Functions Made Easy with Sinusoidal Positional Encoding

本文介绍了一种名为正弦位置编码（SPE）的方法，用于在机器学习任务中处理低维度输入的高频特征，例如使用神经切向核进行的三维视图合成和时间序列回归。尽管现有的位置编码方法非常有效，但需要手动调整关键超参数，特别是傅里叶特征，以适应每个独特的任务。此外，位置编码方法在高频函数的高效学习方面面临挑战，特别是在数据有限的任务中。本文提出的SPE方法旨在有效地学习自适应频率特征，与真实的基础函数密切相关。我们的实验表明，SPE在各种任务中均可实现提高保真度和更快的训练，包括三维视图合成、语音合成和一维回归。SPE可直接替换现有的位置编码方法，并具有即插即用的特性，让许多任务轻松采用并从中受益。

论文旨在解决机器学习任务中，需要从低维度输入中学习高频特征的问题，如3D视图合成和具有神经切向核的时间序列回归。传统的位置编码需要手动调整关键超参数，而且在数据有限的任务中，学习高频函数的效率较低。

论文提出了正弦位置编码（SPE）作为传统位置编码的替代方案，它可以自适应地学习接近真实基础函数的频率特征，而无需超参数调整，从而提高了模型的精度和训练速度。

论文实验表明，SPE在多个任务中都能够提高模型的精度和训练速度，包括3D视图合成、文本转语音生成和一维回归。SPE的插拔式性质使得许多任务可以轻松采用和受益于SPE。论文开源了代码。

最近的相关研究包括使用自适应位置编码的Transformer模型，以及在深度学习中使用傅里叶变换的其他研究。