Measuring Taiwanese Mandarin Language Understanding

这篇文章关注的是在中文环境下，特别是对于传统繁体中文，如何评估大型语言模型（LLMs），这在该领域最近受到了相当大的关注。我们提出了TMLU，一种量身定制的综合评估套装，用于评估LLMs在台湾普通话环境下的高级知识和推理能力。TMLU包括37个学科，涵盖社会科学、STEM、人文、台湾特定内容和其他学科，从初中到专业水平不等。此外，我们为每个学科编写了类似于思维链的少样本解释，以便评估复杂的推理能力。为了建立全面的基线，我们对24个先进的LLMs进行了广泛的实验和分析。结果表明，与多语言专有模型相比，中国开放重量级模型表现较差，而专为台湾普通话量身定制的开放重量级模型落后于简体中文模型。这些发现表明有很大的改进空间，并强调了TMLU的目标，即促进本地化的台湾普通话LLMs的发展。我们发布了基准和评估脚本，以促进未来的研究。

本论文旨在评估大型语言模型在中文环境下的表现，特别是在繁体中文方面的表现，以填补现有基准测试中对该方面的不足。

本文提出了TMLU评估套件，用于评估大型语言模型在台湾普通话背景下的高级知识和推理能力。该套件包括37个主题，涵盖社会科学、STEM、人文、台湾特定内容等，以及针对每个主题的少量解释，用于评估复杂推理技能。

本文对24个先进的大型语言模型进行了广泛的实验和分析，发现中文开放权重模型的表现不如多语言专有权重模型，并且针对台湾普通话的开放权重模型落后于简体中文模型。作者提供了TMLU基准测试和评估脚本，以促进未来的研究。

最近的相关研究包括：1）BERT在中文任务上的应用；2）中文NLP的基准测试；3）中文大型预训练模型的性能比较。