【论文标题】INCORPORATING BERT INTO NEURAL MACHINE TRANSLATION 【作者团队】Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, Tie-Yan Liu 【发表时间】ICLR 2020 【论文链接】https://openreview.net/pdf?id=Hyl7ygStwB 【公开代码】https://github.com/bert-nmt/bert-nmt 【推荐理由】本文探索预训练模型在机器翻译上的应用，并提出一种有效的将Bert模型应用在神经机器翻译上的方法，该方法在七个benchmark数据集上获得SOTA的结果。 最近提出的BERT在自然语言理解任务(如文本分类、阅读理解等)的多样性方面显示出了强大的能力。然而，如何有效地将BERT应用到神经机器翻译(NMT)中，还缺乏足够的探索。虽然在下游的语言理解任务中，BERT更常用作微调而不是上下文嵌入，但在NMT中，作者对使用BERT作为文本嵌入的初步探索要好于使用BERT进行微调。这促使作者思考如何在这个方向上更好地利用BERT来实现NMT。提出了一种新的BERT-fused模型算法，该算法首先利用贝特提取输入序列的表示，然后通过注意机制将这些表示与NMT模型的编码器和译码器的每一层融合。作者在监督(包括句子级和文档级翻译)、半监督和无监督机器翻译上进行实验，并在七个基准数据集上获得最好的结果。

内容中包含的图片若涉及版权问题，请及时与我们联系删除