GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators

最近大型语言模型（LLMs）的进展通过减少表示误差和整合外部知识推进了多语音和机器翻译的发展。然而，这两种翻译任务通常使用束搜索解码和选择最佳假设进行推理。这些技术难以充分利用多样化的N个最佳假设中的丰富信息，使它们不太适合需要单个高质量输出序列的翻译任务。在本文中，我们提出了一种新的翻译任务生成范式，即“GenTranslate”，它建立在LLMs之上，从N个最佳列表中生成更好的结果。利用LLMs的丰富语言知识和强大的推理能力，我们的新范式可以整合N个最佳候选人的丰富信息，生成更高质量的翻译结果。此外，为了支持LLM微调，我们构建并发布了一个HypoTranslate数据集，其中包含11种语言中超过592K的假设-翻译对。在各种语音和机器翻译基准测试（例如FLEURS、CoVoST-2、WMT）上的实验表明，我们的GenTranslate明显优于最先进的模型。

本文旨在解决机器翻译任务中使用beam search decoding和top-1假设选择时无法充分利用N-best候选序列的问题，提出了一种新的生成范式GenTranslate。

GenTranslate利用大型语言模型的丰富语言知识和强大的推理能力，将N-best候选序列中的丰富信息整合起来，生成更高质量的翻译结果。

为了支持LLM的微调，作者构建并发布了一个包含11种语言中超过592K个假设-翻译对的HypoTranslate数据集。实验表明，GenTranslate在各种语音和机器翻译基准测试中显著优于现有的模型。

最近的相关研究包括“Neural Machine Translation by Jointly Learning to Align and Translate”和“Attention Is All You Need”。