自然语言处理（NLP）领域顶级会议 ACL 2021 于 8 月 2 日至 5 日在线上举行。据官方数据, 本届 ACL 共收到 3350 篇论文投稿，其中主会论文录用率为 21.3%。腾讯 AI Lab 共入选 25 篇论文（含 9 篇 findings）。
在不久之前公布的获奖论文中，腾讯 AI Lab 与香港中文大学合作完成的《Neural Machine Translation with Monolingual Translation Memory》获得杰出论文。本文作者也受邀参与机器之心举办的 ACL 2021 论文分享会，感兴趣的同学可以点击阅读原文查看回顾视频。
下面我们来看一下这篇论文的具体内容。

论文地址：https://arxiv.org/abs/2105.11269
先前的一些工作已经证明翻译记忆库（TM）可以提高神经机器翻译 (NMT) 的性能。与使用双语语料库作为 TM 并采用源端相似性搜索进行记忆检索的现有工作相比，该研究提出了一种新框架，该框架使用单语记忆并以跨语言方式执行可学习的记忆检索。该框架具有一些独特的优势：

  • 首先，跨语言记忆检索器允许大量的单语数据作为 TM；

  • 其次，记忆检索器和 NMT 模型可以联合优化以达到最终的翻译目标。

实验表明，该研究提出的方法获得了实质性的改进。值得注意的是，即使不使用额外单语数据，这种方法也要优于使用双语TM的 「TM-augmented NMT」基线方法。由于能够利用单语数据，该研究还证明了所提模型在低资源和领域适应场景中的有效性。
方法
该研究首先将翻译任务转化为两步过程：检索和生成，并在论文中描述了跨语言记忆检索模型和记忆增强型（memory-augmented）翻译模型的模型设计。最后，该论文展示了如何使用标准最大似然训练联合优化这两个组件，并通过交叉对齐预训练解决了冷启动（cold-start）问题。

更多详情，请参阅原文。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除