Evaluating LLMs at Detecting Errors in LLM Responses

随着大型语言模型（LLMs）在各种任务中被广泛使用，检测其响应中的错误变得越来越重要。然而，对LLM响应的错误检测进行的研究很少。由于许多自然语言处理任务的主观性质，收集LLM响应的错误注释具有挑战性，因此先前的研究集中在一些实用价值较小的任务（例如单词排序）或有限的错误类型（例如摘要的忠实度）。本文介绍了ReaLMistake，这是第一个由LLMs产生的客观、真实和多样化错误组成的错误检测基准。ReaLMistake包含三个具有挑战性和有意义的任务，引入了四个类别的客观可评估错误（推理正确性、遵循指令、上下文忠实度和参数化知识），通过专家注释的GPT-4和Llama 270B响应中自然观察到的各种错误。我们使用ReaLMistake评估了基于12个LLMs的错误检测器。我们的研究结果表明：1）像GPT-4和Claude 3这样的顶级LLMs以非常低的召回率检测LLMs的错误，所有基于LLMs的错误检测器的表现都比人类差得多。2）基于LLMs的错误检测器的解释缺乏可靠性。3）基于LLMs的错误检测对提示的微小变化非常敏感，但改进仍然具有挑战性。4）改进LLMs的流行方法，包括自我一致性和多数投票，不能提高错误检测性能。我们提供了我们的基准和代码，网址为https://github.com/psunlpgroup/ReaLMistake。

这篇论文试图解决的问题是如何检测LLM（Large Language Models）的错误响应，以及如何创建一个包含客观、真实和多样化错误的基准测试。

论文的关键思路是创建一个基准测试ReaLMistake，其中包含三个具有挑战性和有意义的任务，引入了四个错误类别（推理正确性、指令遵循、上下文忠实度和参数化知识），用于评估12个LLM的错误检测器。

论文的亮点包括：1）ReaLMistake是第一个包含客观、真实和多样化错误的基准测试，可用于评估LLM的错误检测器；2）实验结果表明，目前的LLM错误检测器性能较差，远远不及人类；3）论文提供了开源代码和数据集，可供其他研究者使用；4）论文指出，目前的LLM错误检测仍然存在挑战，需要进一步研究。

最近在这个领域中，还有一些相关的研究被进行，例如《Detecting and Correcting Text Infelicities in Generative Language Models》和《Error Detection in Text Generation with Frequency-Based Techniques》。