Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary

本研究探讨了位置编码对利用合成基准测试的循环神经网络（RNN）的影响。位置编码在时间序列中“时间戳”数据点，并补充了Transformer神经网络的能力，后者缺乏表示数据顺序的固有机制。相比之下，RNN可以自行对数据点的时间信息进行编码，使它们对位置编码的使用似乎“多余”。然而，经验证明，即使与RNN结合使用，位置编码的有效性仍然很高，特别是用于处理产生多样观察结果的大词汇量。这些发现为RNN的新研究方向铺平了道路，涉及输入驱动和自主时间表示的组合。此外，在生物计算/模拟结果的光线下，还讨论了计算/模拟结果的生物学意义，考虑到位置编码的正弦实现与生物大脑中的神经振荡之间的亲和性。

论文探讨了在循环神经网络（RNN）中使用位置编码的效果，旨在解决Transformer神经网络无法处理数据顺序的问题。

位置编码可以增强循环神经网络处理大词汇量时间序列数据的能力，即使循环神经网络本身已经可以编码时间信息。

论文使用合成数据集进行了实验，发现位置编码对于处理大词汇量的数据集非常有效。此外，论文还探讨了位置编码的生物学意义，提出了一些值得深入研究的方向。

最近的相关研究包括《Attention Is All You Need》、《Transformer-XL》等。