Constructing and Expanding Low-Resource and Underrepresented Parallel Datasets for Indonesian Local Languages

在印度尼西亚，本地语言在文化中扮演着至关重要的角色。然而，在自然语言处理（NLP）领域中，可用的印尼语资源仍然属于有限数据的范畴，这在构建这些语言的NLP模型时会导致问题。为了解决这一差距，我们介绍了Bhinneka Korpus，这是一个多语种平行语料库，包含五种印尼本地语言。我们的目标是增强这些资源的获取和利用，扩大它们在国内的影响力。我们详细解释了数据集收集过程及相关挑战。此外，由于数据限制，我们使用IBM Model 1进行了翻译任务的实验。结果表明，每种语言的表现已经显示出进一步发展的良好迹象。讨论了诸如词汇变异、平滑效应和跨语言变异等挑战。我们打算使用先进的NLP技术对这个语料库进行评估，为多语种翻译模型铺平道路。

论文试图解决印度尼西亚本地语言在NLP领域中数据匮乏的问题，提供一个多语言平行语料库 Bhinneka Korpus，并探索这些语言的机器翻译模型。

论文提出了一个多语言平行语料库 Bhinneka Korpus，包含五种印度尼西亚本地语言，通过IBM Model 1进行翻译实验，结果表明各语言已经表现出进一步发展的良好迹象。

论文详细介绍了数据集的收集过程和相关挑战，包括词汇变化、平滑效应和跨语言变异等。实验结果表明，Bhinneka Korpus已经为低资源语言的高级NLP技术评估铺平了道路。论文提供了开源数据集和代码。

最近的相关研究主要集中在低资源语言的NLP技术上，如多语言词向量和跨语言模型预训练等。