Introducing cosmosGPT: Monolingual Training for Turkish Language Models

越来越多的开源语言模型可以生成土耳其语，就像其他语言一样。为了创建这些模型的基本版本，通常使用土耳其语语料库继续训练多语言模型。另一种选择是仅使用土耳其语语料库来训练模型。在这项研究中，我们首先介绍了我们使用这种替代方法创建的cosmosGPT模型。然后，我们介绍了新的微调数据集，以满足用户的要求，以及用于衡量土耳其语言模型能力的新评估数据集。最后，我们对不同能力的适应土耳其语言模型进行了全面比较。结果表明，尽管这些模型的大小约为其他模型的十倍，但我们使用单语料库构建的语言模型表现出有前途的性能。

该论文旨在创建一个只使用土耳其语语料库训练的土耳其语言模型，以解决土耳其语言模型不足的问题。

使用只有土耳其语语料库的训练集，创建了cosmosGPT模型，并提出了新的微调数据集和评估数据集。

论文展示了使用单语料库训练的土耳其语言模型相对于其他模型具有相似的性能表现，同时模型大小只有其他模型的十分之一。此外，论文使用了大量的数据集和评估指标来验证模型的性能，同时提供了开源代码。

与该论文相关的研究包括使用多语言语料库训练土耳其语言模型的研究，如mT5和XLM-R。