多语言预训练模型在跨语言任务上取得了惊人的效果，借由其zero-shot能力，可在不使用目标语言训练集的情况下在目标语言任务上做出预测。本期将先回顾现有的多语言预训练模型技术，然后介绍我们提出的双语对齐预训练模型 Word-Exchange Aligning Model (WEAM)：使用统计对齐信息作为先验知识，训练模型使用一种语言的上下文表示预测另一种语言中的token。实验表明，WEAM不仅在下游任务上提升了跨语言迁移性能，也能显著提升多语言词向量相似度。

论文链接：https://arxiv.org/abs/2106.01732

内容中包含的图片若涉及版权问题，请及时与我们联系删除