Word Alignment as Preference for Machine Translation

在机器翻译中，幻觉和遗漏问题一直存在，特别是在使用大型语言模型时更为明显，因为语言模型本身容易出现这些现象。本文通过指导语言模型更好地进行词对齐来缓解基于大型语言模型的机器翻译模型中的问题。我们首先研究了词对齐与机器翻译中幻觉和遗漏现象之间的相关性。然后，我们提出利用词对齐作为偏好来优化基于大型语言模型的机器翻译模型。所选偏好数据是通过从多个机器翻译工具中选择已选和被拒绝的翻译而构建的。随后，采用直接偏好优化来将基于大型语言模型的模型优化为偏好信号。鉴于缺乏专门设计用于机器翻译中幻觉和遗漏的评估器，我们进一步提出选择难例并利用GPT-4直接评估模型缓解这些问题的性能。我们通过实验证实了这些设计评估方法的合理性，并展示了基于词对齐的偏好优化缓解幻觉和遗漏的有效性。

论文试图通过指导更好的单词对齐来缓解基于LLM的机器翻译中幻觉和省略现象的问题，作者还提出了一种评估模型性能的方法。

利用单词对齐作为偏好来优化LLM-based MT模型，通过选择多个MT工具的选择和拒绝的翻译来构建偏好数据，然后使用直接偏好优化将LLM-based模型优化为偏好信号。

论文设计了一种使用GPT-4来直接评估模型性能的方法，这种方法可以应对缺乏专门针对幻觉和省略的MT评估器的问题。实验结果表明，基于单词对齐的偏好优化可以有效缓解幻觉和省略现象。

最近的相关研究包括：'Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets'，'A Survey on Recent Advances in Neural Machine Translation and Open Challenges'，'Neural Machine Translation of Rare Words with Subword Units'等。