Low-resource neural machine translation with morphological modeling

在神经机器翻译（NMT）中，形态学建模是实现形态丰富语言开放词汇机器翻译的一种有前途的方法。然而，现有的方法，如子词标记化和基于字符的模型，仅限于单词的表面形式。在这项工作中，我们提出了一个框架解决方案，用于在低资源环境中建模复杂的形态。选择了两层变压器结构来编码输入的形态信息。在目标端输出时，多任务多标签训练方案和基于波束搜索的解码器相结合，可以提高机器翻译性能。提出了一种变压器模型的注意力增强方案，以通用形式允许预训练语言模型的集成，并促进源语言和目标语言之间的单词顺序关系建模。评估了几种数据增强技术，并证明它们可以提高低资源环境下的翻译性能。我们使用公共领域平行文本对基尼阿隆达语-英语翻译进行了评估。我们的最终模型在大型多语言模型方面取得了竞争性的表现。我们希望我们的结果将激励更多使用显式形态信息和所提出的模型和数据增强在低资源NMT中。

该论文旨在解决在低资源情况下建立复杂形态学模型的机器翻译问题。

该论文提出了一种两层Transformer架构的方案，用于在输入时编码形态学信息，并在目标输出时采用多任务多标签训练方案和基于beam search的解码器来提高机器翻译性能。

该论文使用公共领域平行文本对Kinyarwanda-英语进行评估，提出了注意力增强方案，评估了几种数据增强技术，并展示了在低资源情况下提高翻译性能的效果，最终模型表现优秀。

在该领域的相关研究包括：《Neural Machine Translation of Rare Words with Subword Units》、《Character-Aware Neural Language Models》等。