Leveraging Large Language Models for NLG Evaluation: A Survey

在自然语言生成（NLG）评估这个快速发展的领域中，引入大型语言模型（LLMs）为评估生成内容的质量（例如连贯性、创造性和上下文相关性）开辟了新的途径。本文旨在提供关于利用LLMs进行NLG评估的全面概述，这是一个缺乏系统分析的新兴领域。我们提出了一个连贯的分类体系，用于组织现有的基于LLMs的评估指标，提供了一个结构化框架来理解和比较这些方法。我们的详细探讨包括对各种基于LLMs的方法进行批判性评估，以及比较它们在评估NLG输出方面的优势和局限性。通过讨论未解决的挑战，包括偏见、鲁棒性、特定领域和统一评估，本文旨在为研究人员提供见解，并倡导更公平、更先进的NLG评估技术。

本论文旨在提供一个系统分析，探讨利用大型语言模型（LLMs）进行自然语言生成（NLG）评估的方法，包括连贯性、创造性和上下文相关性等方面。同时，本论文也试图解决当前NLG评估领域中存在的问题，如偏见、鲁棒性、特定领域和统一评估等。

本论文提出了一个连贯的分类体系，用于组织现有的基于LLMs的评估指标，提供了一个结构化的框架来理解和比较这些方法。同时，本论文还对各种基于LLMs的方法进行了批判性评估，并比较了它们在评估NLG输出方面的优势和局限性。

本论文详细探讨了利用LLMs进行NLG评估的各种方法，包括其实验设计、使用的数据集和开源代码等。此外，本论文还讨论了当前NLG评估领域中存在的一些挑战，如偏见、鲁棒性、特定领域和统一评估等，并提供了未来研究的方向。

最近在这个领域中，还有一些相关的研究，如《Evaluating Text Generation: BLEU Reveals Inadequacies, but Does Not Help》、《Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies》等。