Transformers for Low-Resource Languages:Is Féidir Linn!

Transformer模型是机器翻译中最先进的技术。然而，通常情况下，神经翻译模型在数据不足的语言对上的表现往往不佳。因此，在低资源语言对上使用这种架构的实验相对较少。本研究评估了Transformer模型在翻译低资源的英语-爱尔兰语语言对中的超参数优化。我们证明，选择适当的参数可以显著提高性能。最重要的是，正确选择子词模型被证明是驱动翻译性能的最大因素。评估了使用unigram和BPE方法的SentencePiece模型。模型架构的变化包括修改层数、测试各种正则化技术以及评估注意力头的最佳数量。评估使用了通用的55k DGT语料库和一个88k的公共管理语料库。与基线RNN模型相比，优化后的Transformer模型表现出7.8分的BLEU分数提高。在一系列指标上观察到了改进，包括TER，表明使用16k BPE子词模型的Transformer优化模型可以大大减少后期编辑工作量。与Google翻译相比，我们的翻译引擎表现出了显著的改进。本研究回答了Transformer模型是否可以在英语-爱尔兰语低资源环境中有效使用的问题。是的，我们可以。

本论文旨在解决低资源语言对（英语-爱尔兰语）机器翻译中神经网络模型表现不佳的问题，并验证Transformer模型在这种情况下的效果。

通过超参数优化，选择适当的子词模型（SentencePiece模型）和模型架构（层数、正则化技术、注意力头数），可以显著提高Transformer模型在低资源语言对翻译中的表现。

论文使用了55k DGT语料库和88k公共管理语料库进行评估，并与基线RNN模型和Google Translate进行对比。实验结果表明，使用16k BPE子词模型的Transformer优化模型相比基线模型在BLEU分数和TER等多个指标上均有显著提高，且可大幅减少后期编辑工作量。

与本论文相关的研究包括使用Transformer模型进行低资源语言对翻译的其他研究，如《Low-Resource Neural Machine Translation with a Subword-Aware Denoising Autoencoder》、《Investigating the Effectiveness of the Transformer Architecture on Low-Resource Machine Translation》等。