Lessons from the Trenches on Reproducible Evaluation of Language Models

对语言模型的有效评估仍然是自然语言处理领域中的一个难题。研究人员和工程师面临着方法论问题，例如模型对评估设置的敏感性，跨方法的适当比较的困难，以及缺乏可重复性和透明度。在本文中，我们借鉴了三年的大型语言模型评估经验，为研究人员提供指导和经验教训。首先，我们概述了语言模型评估中常见的挑战。其次，我们界定了解决或减轻这些挑战对研究的影响的最佳实践。第三，我们提出了语言模型评估工具包（lm-eval）：这是一个开源库，用于独立、可重复和可扩展的语言模型评估，旨在解决这些问题。我们描述了该库的特点以及使用该库缓解这些方法论问题的案例研究。

如何有效评估自然语言处理中的语言模型，解决评估方法上的问题，提高评估的可重复性和透明度？

提出了一种开源的语言模型评估工具——Language Model Evaluation Harness（lm-eval），该工具可以独立、可重复、可扩展地评估语言模型，同时提供了最佳实践来解决评估中的常见问题。

lm-eval是一种开源的语言模型评估工具，可以独立、可重复、可扩展地评估语言模型；论文提供了最佳实践来解决评估中的常见问题；实验使用了多个数据集，包括GLUE、SuperGLUE等；论文还探讨了当前领域中的一些相关工作。

最近的相关研究包括：1. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer; 2. XLNet: Generalized Autoregressive Pretraining for Language Understanding; 3. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。