Through the Lens of Core Competency: Survey on Evaluation of Large Language Models

解决问题：本篇论文旨在解决大型语言模型（LLM）评估的问题。由于LLM的表现非常优秀，传统的自然语言处理（NLP）任务已经无法充分评估LLM。同时，现有的评估任务也难以跟上LLM在实际应用场景中的广泛应用。因此，本文试图通过提出各种基准来更好地评估LLM。

关键思路：本文的关键思路是提出了4个核心能力（推理、知识、可靠性和安全性）来评估LLM，并为每个能力介绍了定义、相应的基准和指标。在这个能力结构下，类似的任务被组合起来反映相应的能力，同时新的任务也可以很容易地添加到系统中。

其他亮点：本文的实验设计了多个基准来评估LLM，同时对LLM评估的未来方向提出了建议。作者还提出了一个能力结构，可以方便地添加新的任务。然而，本文没有提供开源代码。

关于作者：本文的主要作者是来自清华大学的Ziyu Zhuang、Qiguang Chen、Longxuan Ma、Mingda Li、Yi Han、Yushan Qian、Haopeng Bai、Zixian Feng、以及来自上海交通大学的Weinan Zhang和Ting Liu。他们的代表作包括：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。

相关研究：近期的其他相关研究包括《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》（Kevin Clark等，Google Research）、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》（Colin Raffel等，Google Research）、《Turing Natural Language Generation Benchmark: Evaluating Language Generation in Generative Dialogue Systems》（Emily Dinan等，Facebook AI Research）等。

论文摘要：透过核心竞争力的视角：关于大型语言模型评估的调查 庄子瑜，陈启光，马龙轩，李明达，韩毅，钱雨珊，白浩鹏，冯子贤，张卫南，刘挺 从预训练语言模型（PLM）到大型语言模型（LLM），自然语言处理（NLP）领域见证了巨大的性能提升和广泛的实际应用。对研究领域的评估指导其改进方向。然而，由于两个原因，LLMs极难进行全面评估。首先，由于LLM表现出色，传统的NLP任务变得不足以应对。其次，现有的评估任务难以跟上实际场景中广泛应用的速度。为解决这些问题，现有的研究提出了各种基准来更好地评估LLMs。为了澄清学术界和工业界中众多的LLM评估任务，我们调查了多篇有关LLM评估的论文。我们总结了LLM的四个核心竞争力，包括推理、知识、可靠性和安全性。对于每个竞争力，我们介绍了其定义、相应的基准和指标。在这个竞争力架构下，类似的任务被结合起来反映相应的能力，同时新的任务也可以轻松地添加到系统中。最后，我们对LLM评估的未来方向提出了建议。

内容中包含的图片若涉及版权问题，请及时与我们联系删除