NusaBERT: Teaching IndoBERT to be Multilingual and Multicultural

印度尼西亚的语言景观非常多样化，涵盖了700多种语言和方言，使其成为世界上语言最为丰富的国家之一。这种多样性，加上广泛实践的代码切换和低资源区域语言的存在，为现代预训练语言模型带来了独特的挑战。为了应对这些挑战，我们开发了NusaBERT，基于IndoBERT构建，通过扩展词汇表并利用包括区域语言和方言在内的多样化多语言语料库。通过在各种基准测试中进行严格评估，NusaBERT在涉及印度尼西亚多种语言的任务中展现出最先进的性能，为未被充分代表的语言的未来自然语言理解研究铺平了道路。

本篇论文旨在解决印度尼西亚语言多样性带来的挑战，包括语言切换和低资源区域语言等问题，提出了NusaBERT模型，旨在为印尼低资源语言的自然语言理解研究提供最新的技术支持。

NusaBERT模型通过扩展词汇表和利用包括区域语言和方言在内的多语言语料库，建立在IndoBERT的基础上，为印尼多种语言的自然语言理解任务提供最新的技术支持。

论文通过在多个基准测试中进行严格评估，证明了NusaBERT在涉及印尼多种语言的任务中具有最先进的性能。此外，该论文还公开了数据集和代码，为未来的研究提供了有价值的资源。

在这个领域的相关研究包括IndoBERT、XLM、mBERT等。