InkubaLM: A small language model for low-resource African languages

高资源的语言模型在非洲地区常常表现不佳，因为在计算和数据约束条件下，需要高效、易于访问和本地相关的模型。本文介绍了InkubaLM，这是一个具有0.4亿个参数的小型语言模型，其在机器翻译、问答、AfriMMLU和AfriXnli等任务上的表现与参数数量更多、训练数据更广泛的模型相当。值得注意的是，InkubaLM在情感分析方面胜过许多更大的模型，并在多种语言中表现出卓越的一致性。这项工作代表了挑战传统范式的重要进展，即有效的语言模型必须依赖于大量资源。我们的模型和数据集是公开可用的，以鼓励对低资源语言进行研究和开发。

论文旨在解决非洲语言中低资源语言模型的问题，提出一种小型语言模型InkubaLM，其参数数量仅为0.4亿，但在机器翻译、问答、情感分析等任务上表现优秀。

InkubaLM是一种小型语言模型，通过对低资源语言数据的有效利用，实现了与大型模型相当的性能表现。其关键思路是利用数据增强和半监督学习技术，提高模型的泛化能力。

论文中提出的InkubaLM模型在非洲语言中表现优秀，尤其是在情感分析任务上表现突出，且在多语言之间具有一定的一致性。作者公开了模型和数据集，以鼓励更多人对低资源语言进行研究和开发。

近期的相关研究包括：《XLM-R: Cross-lingual Language Model Pretraining》、《Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond》等。