On the Benchmarking of LLMs for Open-Domain Dialogue Evaluation

大型语言模型（LLMs）在各种自然语言处理任务中展示了卓越的能力。特别是在自动开放领域对话评估方面，LLMs已经无缝地集成到评估框架中，并与人类评估一起组成了大多数评估的支柱。然而，现有的评估基准通常依赖于过时的数据集，并评估流畅度和相关性等方面，这些方面未能充分捕捉到最先进的聊天机器人模型的能力和局限性。 本文对当前的评估基准进行了批判性的审查，强调使用旧的响应生成器和质量方面未能准确反映现代聊天机器人的能力。对最近由LLM生成的数据集（SODA）进行的小型注释实验表明，像GPT-4这样的LLM评估器很难检测到当前LLM聊天机器人生成的对话中的实际缺陷。

本论文试图批判性地检验当前的对话生成模型评估基准，并提出了改进的方案。作者发现现有的评估基准过时，无法充分反映最新的聊天机器人模型的能力和局限性。

本论文提出了一种基于最新数据集和评估指标的对话生成模型评估框架，并强调了在评估对话生成模型时考虑到多个方面的重要性。

论文进行了一项小规模注释实验，揭示了当前最新的语言模型评估器（如GPT-4）在检测当前LLM聊天机器人生成的对话中的实际缺陷方面存在困难。作者提出了一些改进措施，包括使用更多的数据集、评估指标和评估器。

在最近的相关研究中，还有一些关于对话生成模型评估的研究。例如，“A Survey of Evaluation Methods for Dialogue Systems”、“Towards Comprehensive Evaluation of Conversational Agents: A Case for Deep Understanding of Unstructured Texts, Knowledge, and Reasoning”。