作者：Liang Ding, Keqin Peng, Dacheng Tao

简介：本文研究神经机器翻译预训练领域的去噪训练策略。具体来说，作者在早期使用源端和目标端去噪任务更新模型参数，然后正常调整模型。本文提出了一种简单有效的神经机器翻译预训练策略去噪训练：DOT。值得注意的是，作者的方法不会增加任何参数或训练步骤，仅需要并行数据。实验表明，DOT 在 12 个双语和 16 个多语方向（数据大小范围从 80K 到 20M）上持续提高了神经机器翻译性能。此外，作者表明 DOT 可以补充现有的数据操作策略，即课程学习、知识蒸馏、数据多样化、双向训练和反向翻译。令人鼓舞的是，作者发现 DOT 在高资源环境中优于昂贵的预训练模型 mBART。

论文下载：https://arxiv.org/pdf/2201.07365.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除