TasTe: Teaching Large Language Models to Translate through Self-Reflection

大型语言模型在各种自然语言处理任务中表现出了卓越的性能。像指令调整这样的技术有效地提高了LLM在机器翻译的下游任务中的熟练程度。然而，现有方法无法产生与监督神经机器翻译系统相匹配的令人满意的翻译输出。这种差异的一个可能的解释是这些方法中所采用的直接提示无法充分利用所获得的指令遵循能力。为此，我们提出了TasTe框架，即通过自我反思进行翻译的框架。自我反思过程包括两个推理阶段。在第一阶段，LLM被指示生成初步翻译，并同时对这些翻译进行自我评估。在第二阶段，LLM被要求根据评估结果对这些初步翻译进行改进。在WMT22基准测试的四种语言方向上的评估结果显示了我们的方法相对于现有方法的有效性。我们的工作提出了一种有前途的方法，可以释放LLM的潜力并增强它们在机器翻译中的能力。代码和数据集已在https://github.com/YutongWang1216/ReflectionLLMMT上开源。

本论文旨在提高大型语言模型在机器翻译任务中的表现，解决其与监督神经机器翻译系统之间表现差距的问题。

该论文提出了一种名为TasTe的框架，通过自我反思的方式来提高大型语言模型的翻译能力。该框架包括两个阶段的推理，第一阶段是生成初步翻译并同时进行自我评估，第二阶段是根据评估结果对初步翻译进行细化。

论文的实验结果表明，该方法相比现有方法在WMT22基准测试上取得了更好的翻译效果。论文提供了开源代码和数据集，为进一步研究提供了方便。

最近的相关研究包括指导调整等方法，但这些方法无法达到监督神经机器翻译系统的质量。