Crossing Linguistic Horizons: Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models

最近大型语言模型（LLM）的进步突显了它们在人工智能发展中的重要性。然而，尽管在多语言数据集上进行了广泛的预训练，可用的开源LLM在处理越南语方面的有效性仍然有限。这一挑战加剧了因缺乏专门为越南语LLM评估量身定制的系统基准数据集和指标而带来的问题。为了缓解这些问题，我们专门为越南语进行了微调，并开发了一个包括10个常见任务和31个指标的全面评估框架。我们的评估结果表明，经过微调的LLM在越南语方面表现出更强的理解和生成能力。此外，我们的分析表明，具有更多参数的模型可能会引入更多偏见和未校准的输出，影响LLM的性能的关键因素是训练或微调数据集的质量。这些见解突显了使用高质量数据集进行细致微调以提高LLM性能的重要性。

本文旨在解决现有的大型语言模型在处理越南语时的局限性，以及缺乏专门为越南语评估设计的基准数据集和指标的挑战。

本文通过对大型语言模型进行特定于越南语的微调，并开发了一个包含10个常见任务和31个指标的综合评估框架，以提高其在越南语处理方面的理解和生成能力。

本文的实验结果表明，经过微调的大型语言模型在越南语处理方面表现出更好的性能，而模型参数越多，可能会引入更多的偏差和未校准的输出。此外，本文还强调了高质量数据集对于提高大型语言模型性能的重要性。

近期的相关研究包括：《Large-scale Multilingual Speech Recognition with a Streaming End-to-End Model》、《Unsupervised Cross-lingual Representation Learning at Scale》等。