A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias

基于大型语言模型（LLMs）的基础，多语言大型语言模型（MLLMs）已经被开发出来，以解决多语言自然语言处理任务所面临的挑战，希望实现从高资源语言到低资源语言的知识转移。然而，仍然存在着显著的限制和挑战，例如语言不平衡、多语言对齐和固有偏见。本文旨在对MLLMs进行全面分析，深入探讨这些关键问题。首先，我们从MLLMs的概述入手，涵盖它们的演变、关键技术和多语言能力。其次，我们探讨MLLMs训练所使用的广泛应用的多语言语料库和面向下游任务的多语言数据集，这对于增强MLLMs的跨语言能力至关重要。第三，我们调查了现有的多语言表示研究，并探讨当前的MLLMs是否能够学习通用语言表示。第四，我们讨论了MLLMs的偏见，包括其类别和评估指标，并总结了现有的去偏见技术。最后，我们讨论了现有的挑战，并指出了有前途的研究方向。通过展示这些方面，本文旨在促进对MLLMs及其在各个领域的潜力的更深入理解。

本文旨在全面分析多语言大型语言模型（MLLMs）的局限性和挑战，如语言不平衡、多语言对齐和固有偏差等。

本文对MLLMs的演变、关键技术和多语言能力进行了概述，探讨了用于训练MLLMs的广泛使用的多语言语料库和面向下游任务的多语言数据集，调查了当前MLLMs是否能够学习通用语言表示，并讨论了MLLMs中的偏差和去偏差技术。

本文的亮点包括对多语言语料库和数据集的综述、对多语言表示的研究、对偏差和去偏差技术的讨论以及对未来研究方向的指出。

相关研究包括《Unicoder：一种跨语言语言理解器》、《多语言预训练模型的无监督跨语言适应》等。