Sailor: Open Language Models for South-East Asia

我们推出了Sailor，一系列0.5B到7B参数的开放语言模型，专门为东南亚语言定制。这些模型从Qwen1.5开始持续预训练，Qwen1.5是一个非常适用于多语言的语言模型。从Qwen1.5开始，Sailor模型可以接受200B到400B的标记，主要覆盖英语、中文、越南语、泰语、印度尼西亚语、马来语和老挝语等语言。训练利用了多种技术，包括BPE随机失活以提高模型的鲁棒性、积极的数据清理和去重，以及小型代理模型来优化数据混合。在四个典型任务的实验结果表明，Sailor模型在不同的基准测试中表现出强大的性能，包括常识推理、问答、阅读理解和考试。我们分享这份报告的见解，以激发更广泛的兴趣，开发用于多语言的大型语言模型，秉承开源精神。

本篇论文旨在解决多语言场景下的语言模型训练问题，特别是针对东南亚语言的训练。作者试图通过预训练Sailor模型来提高多语言场景下的性能表现。

论文采用了多种技术手段来优化Sailor模型的训练，包括BPE dropout、数据清洗和去重、小型代理模型等。这些手段使得Sailor模型在多项任务上表现出色。

论文的实验结果表明，Sailor模型在多项任务上表现出色，包括常识推理、问答、阅读理解和考试等。此外，作者还开源了Sailor模型的代码，为多语言场景下的语言模型训练提供了有价值的参考。

在此领域的相关研究中，最近有一些关于多语言语言模型训练的研究，例如《mT5: A massively multilingual pre-trained text-to-text transformer》和《UnicoderXL: The Universal Encoder for Extensible Natural Language Processing》。