Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean

这篇文章介绍了大型语言模型（LLMs）使用预训练来预测下一个单词，但是它们的扩展需要大量的计算资源。许多大型科技公司和研究机构已经开发了多语言LLMs（MLLMs）以满足当前的需求，但是忽视了资源较少的语言（LRLs）。本研究提出了三种策略来增强LRLs的性能，基于公开可用的MLLMs。首先，扩展LRLs的MLLM词汇以增强表现力。其次，使用双语数据进行预训练，以对齐高资源和低资源语言。第三，构建高质量的小规模指令数据集，并进行指令调整以增强LRL。实验使用Llama2模型，以韩语作为LRL，并在八项任务中与其他开发的LLMs进行定量评估。此外，还进行了基于人类评估和GPT4的定性评估。实验结果表明，我们提出的Bllossom模型在定性分析中表现优异，比先前提出的韩语单语模型表现更好。

如何提高低资源语言的大型多语言语言模型（MLLM）的性能？

该论文提出了三种策略来提高低资源语言的性能：扩展词汇表、使用双语数据进行预训练以对齐高资源和低资源语言、构建高质量的小规模指导数据集并进行指导微调。

实验使用了Llama2模型和韩语作为低资源语言，在8个任务上进行了定量评估，并进行了人工评估和GPT4的定性评估。实验结果表明，该论文提出的Bllossom模型在定性分析方面优于以前提出的韩语单语模型。

最近的相关研究包括《Scaling Up Cross-Lingual Language Models》、《Multilingual Knowledge Distillation for Low-Resource Neural Machine Translation》等。