self-translate方法｜多语言语言模型用英语更能发挥多语言潜力吗？

Do Multilingual Language Models Think Better in English?

J Etxaniz, G Azkune, A Soroa, O L d Lacalle, M Artetxe
[University of the Basque Country UPV/EHU & Reka AI]

多语言语言模型用英语更能发挥多语言潜力吗？

• 动机：多语言自回归语言模型在许多任务和语言上都展现出了令人印象深刻的能力。然而，对于非英语语言，尤其是资源较少的语言，其性能通常较低。为缓解这一问题，研究者们经常使用translate-test方法，其中测试数据被翻译成英语，然后输入模型。
• 方法：介绍了一种名为self-translate的新方法，利用多语言语言模型的少样本示例翻译能力，而不是使用外部系统。具体来说，提示多语言模型将输入翻译成英语，然后将翻译后的输入提供给同一模型以解决任务。
• 优势：实验结果表明，self-translate方法在5个任务上都一致地优于直接推断，证明了当在非英语语言中提示时，语言模型无法利用其全部的多语言潜力。

提出一种新的self-translate方法，证明了多语言语言模型在非英语语言中的提示时无法充分发挥其潜力，而self-translate方法可以更好地利用模型的多语言能力。

https://arxiv.org/abs/2308.01223 

内容中包含的图片若涉及版权问题，请及时与我们联系删除