Unlocking the Potential of Model Merging for Low-Resource Languages

本文提出了一种针对低资源语言的新方法——模型合并。传统的连续预训练和有监督微调方法在低资源语言中往往面临数据稀缺的问题，无法平衡语言建模和任务解决能力。本文提出了模型合并作为一种替代方案，将具有不同能力的模型合并为一个模型，无需额外训练。我们使用模型合并来开发解决低资源语言任务的大型语言模型，而不需要目标语言的有监督微调数据。我们的实验基于Llama-2-7B数据集，结果表明模型合并有效地赋予低资源语言的大型语言模型任务解决能力，在极度缺乏数据的情况下优于连续预训练和有监督微调方法。同时，我们还发现随着训练标记数的增加，模型合并的性能会饱和。因此，我们进一步分析了合并过程，并引入了松弛变量来缓解重要参数的丢失，从而提高了性能。我们希望模型合并能够提高数据效率，使更多受数据稀缺困扰的人类语言受益。

本文旨在解决在低资源语言环境下，LLMs的CT-then-SFT方法无法平衡语言建模和任务解决能力的问题，提出了使用模型合并的方法来为低资源语言开发具有任务解决能力的LLMs。

使用模型合并的方法将具有不同能力的模型合并成一个模型，以提高LLMs在低资源语言中的任务解决能力。

本文使用Llama-2-7B数据集进行实验，证明了模型合并可以有效地为低资源语言的LLMs赋予任务解决能力，并且在极度稀缺数据的情况下优于CT-then-SFT方法。同时，文章提出了一种松弛变量的模型合并算法以提高性能。

在相关研究方面，最近的研究包括使用元学习来提高LLMs在低资源语言中的性能（Meta-Learning for Low-Resource Neural Machine Translation），以及使用多语言表示学习来提高跨语言文本分类的性能（Multi-lingual Representational Learning for Cross-lingual Text Classification）等。