Transformer结构被广泛地应用在各类NLP任务上。Transformer结构除去位置编码将不能建模输入的顺序，所以位置编码及其重要。在现有的预训练模型中，已经发展出了多种位置编码（例如：完全可学习的位置编码，固定的三角函数式位置编码，相对位置编码等，试验上都有不错的表现，但当前学界对位置编码仍然没有较系统性的对比和研究，缺少一个统一的框架来理解和评价这些位置编码。在华为诺亚方舟实验室最新的一篇论文《On Position Embeddings in BERT》工作中，提出了统一的框架来探究各种不同的位置编码。 论文链接：https://openreview.net/pdf?id=onxoVA9FxMw

内容中包含的图片若涉及版权问题，请及时与我们联系删除