Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator

基于多语言预训练模型，通过提示学习的跨语言转移已经显示出很好的效果，其中在源语言中学习的软提示被转移到目标语言中进行下游任务，特别是在低资源情况下。为了有效地转移软提示，我们提出了一个新的框架，多语言提示翻译器（MPT），引入了一个多语言提示翻译器，通过改变语言知识同时保留任务知识来适当处理提示中嵌入的重要知识。具体而言，我们首先在源语言中训练提示，并使用翻译器将其翻译成目标提示。此外，我们扩展了一个外部语料库作为辅助数据，设计了一个预测答案概率的对齐任务，以转换语言知识，从而为目标提示提供多语言知识。在XNLI的少样本设置中，MPT表现出比基线更出色的表现，取得了显著的改进。与普通提示相比，MPT在转移到与源语言非常不同的语言时更为突出。

本论文旨在解决在低资源语言场景下，如何有效地将源语言的软提示（soft prompt）转移到目标语言中进行下游任务的问题。

本论文提出了一种名为Multilingual Prompt Translator (MPT)的框架，通过引入多语言提示翻译器，将提示中的关键知识进行处理，从而将语言知识转化为多语言知识，并保留任务知识。

本论文的实验采用了XNLI数据集，并在少样本情况下展现了MPT框架相比基线方法的显著性提升。此外，本论文还扩展了外部语料库作为辅助数据，并设计了一个对齐任务来转化预测答案概率，从而为目标提示装备多语言知识。

与本论文相关的研究包括Cross-lingual Language Model Pre-training (XLM)、Multilingual Universal Sentence Encoder (MUSE)等。