ACT-MNMT Auto-Constriction Turning for Multilingual Neural Machine Translation

大型语言模型（LLM）通过零/少量提示或提示微调在多语言机器翻译任务中取得了有希望的表现。然而，由于LLM的预训练过程中混合了多语言数据，基于LLM的翻译模型在基于提示的方法中面临着偏离目标的问题，包括一系列现象，即指令误解、错误语言翻译和过度生成。针对这个问题，本文介绍了一种新的监督微调机制——自动约束模板构建机制，用于多语言神经机器翻译（\model）。该方法自动在目标端通过在真实结果前添加触发令牌来构建受限模板。此外，触发令牌可以自由排列和组合以表示不同的任务语义，并且可以迭代更新以最大化标签似然。在多个度量标准上对WMT测试集进行了实验，实验结果表明，\model在多个翻译方向上显著提高了性能，并减少了翻译中的偏离目标现象。

本论文旨在解决LLM在多语言机器翻译中存在的离题问题，包括指令误解、错误语言翻译和过度生成等现象。

本文提出了一种新的监督微调机制Auto-Constriction Turning mechanism for Multilingual Neural Machine Translation (ACT-MNMT)，通过在目标端添加触发令牌，自动构建受限模板，以解决LLM在多语言机器翻译中存在的离题问题。

本文的实验结果表明，ACT-MNMT在多个翻译方向上都能显著提高翻译性能，并减少离题现象。实验使用了WMT测试集，提出的方法可以自由排列和组合触发令牌以表示不同的任务语义，并且可以迭代更新以最大化标签似然。此外，本文还提供了开源代码。

最近在这个领域的相关研究包括零/少量样本提示或提示微调的LLM在多语言机器翻译任务中取得了很好的表现。