【论文标题】Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation 【作者团队】Shuhao Gu,Yang Feng,Wanying Xie 【发表时间】NAACL 2021 【论文链接】https://arxiv.org/pdf/2103.13678.pdf 【论文代码】https://github.com/ictnlp/PTE-NMT 【推荐理由】论文证明了NMT模型中不重要的参数可以被重用以提高域内翻译质量，其提出的模型可以适应连续学习场景。 领域自适应在神经网络机器翻译的实际应用中得到了广泛的应用，其目标是在一般域和域内都取得良好的性能。然而，现有的领域适应方法存在着严重的遗忘、领域发散和模型爆炸等问题。为了解决这三个问题，我们提出了一种“分而治之”的方法，该方法基于翻译模型中神经元或参数的重要性。在该方法中，我们首先对模型进行修剪，只保留重要的神经元或参数，使它们同时负责一般域和域内的转换。然后用知识精馏方法对原始未修剪模型监督下的修剪后模型进行进一步训练。最后，我们将模型扩展到原始大小，并为域内转换微调添加的参数。我们在不同的语言和领域进行了实验，结果表明，与几种强基线相比，我们的方法有显著的改进。

内容中包含的图片若涉及版权问题，请及时与我们联系删除