FarsInstruct: Empowering Large Language Models for Persian Instruction Understanding

指令调整的大型语言模型（例如T0）已经展示出在各个领域遵循指令的显著能力。然而，它们在许多低资源语言方面的熟练程度仍然明显不足。为了解决这一挑战，我们介绍了FarsInstruct：一个全面的指令数据集，旨在特别增强波斯语大型语言模型的指令遵循能力，这是一种在全球范围内具有重要意义但受到低估的语言。FarsInstruct包含各种任务类型和数据集，每个数据集都包含从简单到复杂的手写指令以及来自Public Pool of Prompts的翻译，确保了丰富的语言和文化表达。此外，我们介绍了Co-CoLA，这是一个旨在增强LoRA调整模型的多任务适应性的框架。通过广泛的实验分析，我们的研究展示了FarsInstruct数据集与Co-CoLA框架训练相结合，在改善波斯语环境下大型语言模型的性能方面的有效性。截至目前为止，FarsInstruct包括21个不同数据集中的200多个模板，并且我们打算定期更新它，从而增加其适用性。

FarsInstruct论文旨在解决低资源语言中大型语言模型指令遵循能力的不足，提供了一个针对波斯语的全面指令数据集FarsInstruct，并提出了Co-CoLA框架来增强模型的多任务适应性。

FarsInstruct数据集包含多个任务类型和数据集，每个数据集都包含简单到复杂的手写指令和来自Public Pool of Prompts的翻译，旨在增强大型语言模型在波斯语环境下的指令遵循能力。Co-CoLA框架通过联合训练多个任务来增强模型的多任务适应性。

FarsInstruct数据集涵盖了21个不同的数据集和200多个模板，可以为波斯语环境下的指令遵循提供丰富的语言和文化表征。实验结果表明，使用FarsInstruct数据集和Co-CoLA框架训练可以显著提高大型语言模型在波斯语环境下的性能。论文提供了开源代码和详细的实验设计。

最近的相关研究包括在低资源语言中训练大型语言模型的工作，以及使用多任务学习来增强模型的适应性的工作，例如mT5和UniLMv2。