【论文标题】Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation

【论文链接】https://arxiv.org/abs/2105.12523

【代码链接】https://github.com/xydaytoy/BMI-NMT

【作者团队】Yangyifan Xu, Yijin Liu, Fandong Meng, Jiajun Zhang, Jinan Xu, Jie Zhou

【发表时间】2021.5.27

【推荐理由】论文收录于ACL-IJCNLP2021会议，研究人员提出一种新颖的基于双语交互信息的自适应目标，从双语的角度衡量每个目标标记的学习难度，并相应的分配一个自适应权重来提高token级的自适应训练。

最近，token级自适应训练在机器翻译中取得了可喜的进展，通过给不同的token分配不同的训练权重来调整交叉熵损失函数，以缓解token不平衡的问题。然而，以前的方法只使用目标语言的静态词频信息，而不考虑源语言，这对机器翻译这样的双语任务来说是不够的。基于双语交互信息的自适应训练方法为BMI较高的token分配较大的训练权重，因此容易的token以粗粒度更新，而困难的token则以细粒度更新。在WMT14英译德和WMT19中译英数据集上的的实验结果表明，与Transformer基线和以前的token级自适应训练方法相比，论文方法具有优越性；且进一步的实验分析证实，论文方法可以提高词汇的多样性。

图：实验结果

内容中包含的图片若涉及版权问题，请及时与我们联系删除