InkubaLM: A small language model for low-resource African languages

Atnafu Lambebo Tonja ,
Bonaventure F. P. Dossou ,
Jessica Ojo ,
Jenalea Rajab ,
Fadel Thior ,
Eric Peter Wairagala ,
Aremu Anuoluwapo ,
Pelonomi Moiloa ,
Jade Abbott ,
Vukosi Marivate ,
Benjamin Rosman
166
热度
2024年08月30日
  • 简介
    高资源的语言模型在非洲地区常常表现不佳,因为在计算和数据约束条件下,需要高效、易于访问和本地相关的模型。本文介绍了InkubaLM,这是一个具有0.4亿个参数的小型语言模型,其在机器翻译、问答、AfriMMLU和AfriXnli等任务上的表现与参数数量更多、训练数据更广泛的模型相当。值得注意的是,InkubaLM在情感分析方面胜过许多更大的模型,并在多种语言中表现出卓越的一致性。这项工作代表了挑战传统范式的重要进展,即有效的语言模型必须依赖于大量资源。我们的模型和数据集是公开可用的,以鼓励对低资源语言进行研究和开发。
  • 图表
  • 解决问题
    论文旨在解决非洲语言中低资源语言模型的问题,提出一种小型语言模型InkubaLM,其参数数量仅为0.4亿,但在机器翻译、问答、情感分析等任务上表现优秀。
  • 关键思路
    InkubaLM是一种小型语言模型,通过对低资源语言数据的有效利用,实现了与大型模型相当的性能表现。其关键思路是利用数据增强和半监督学习技术,提高模型的泛化能力。
  • 其它亮点
    论文中提出的InkubaLM模型在非洲语言中表现优秀,尤其是在情感分析任务上表现突出,且在多语言之间具有一定的一致性。作者公开了模型和数据集,以鼓励更多人对低资源语言进行研究和开发。
  • 相关研究
    近期的相关研究包括:《XLM-R: Cross-lingual Language Model Pretraining》、《Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论