AC-EVAL: Evaluating Ancient Chinese Language Understanding in Large Language Models

考虑到古代汉语在捕捉丰富历史和文化遗产方面的重要性，大型语言模型(LLMs)的快速发展需要有效评估它们对古代语境的理解能力的基准。为满足这一需求，我们提出了AC-EVAL，这是一个创新的基准，旨在评估LLMs在古代汉语背景下的高级知识和推理能力。AC-EVAL根据不同的语言理解方面分为三个难度级别：一般历史知识，短文本理解和长文本理解。该基准包括13个任务，涵盖历史事实、地理、社会习俗、艺术、哲学、古典诗歌和散文，提供了一个全面的评估框架。我们对定制的英文和中文LLMs进行了广泛的评估，发现它们在古代文本理解方面具有巨大的潜力。AC-EVAL旨在通过突出LLMs的优点和缺点，促进它们在古代汉语语言教育和学术研究领域的发展和应用。AC-EVAL的数据和评估代码可在https://github.com/yuting-wei/AC-EVAL上获得。

AC-EVAL论文旨在解决如何有效评估大型语言模型（LLMs）在古代中文理解方面的能力，以及如何提高其古代文本理解能力的问题。

AC-EVAL是一个针对古代中文的创新基准测试，由三个不同难度级别的任务组成，涵盖历史事实、地理、社会习俗、艺术、哲学、古典诗歌和散文等多个方面，用于评估LLMs的高级知识和推理能力。通过评估LLMs的优缺点，AC-EVAL旨在促进LLMs在古代中文语言教育和学术研究领域的发展和应用。

论文提供了一个全面的评估框架，并对表现最好的LLMs进行了广泛的评估。值得关注的是，AC-EVAL数据和评估代码都是开源的。此外，论文还强调了LLMs在古代中文理解方面的潜力和不足之处。

在最近的相关研究中，也有一些关于LLMs在中文理解方面的研究，例如《ERNIE-Gram: Pre-Training with Explicitly N-Gram Masking for Chinese Language Understanding》和《Exploiting Cloze-Questions for Few Shot Text Classification and Natural Language Inference》。