From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge

评估和评价长期以来一直是人工智能（AI）和自然语言处理（NLP）中的关键挑战。然而，传统的基于匹配或基于嵌入的方法往往无法准确判断细微属性，也无法提供令人满意的结果。最近在大型语言模型（LLMs）方面的进展激发了“LLM作为评判者”的范式，即利用LLMs在各种任务和应用中进行评分、排名或选择。本文对基于LLM的评判和评估进行了全面的综述，提供了深入的概述以推动这一新兴领域的发展。我们首先从输入和输出两个角度给出详细的定义。然后，我们介绍了一个综合分类法，从三个维度探讨“LLM作为评判者”：评判什么、如何评判以及在哪里评判。最后，我们编制了评估“LLM作为评判者”的基准，并强调了关键挑战和有前景的方向，旨在提供有价值的见解并激发该研究领域的未来研究。关于“LLM作为评判者”的论文列表和其他资源可以在以下网址找到：[https://github.com/llm-as-a-judge/Awesome-LLM-as-a-judge](https://github.com/llm-as-a-judge/Awesome-LLM-as-a-judge) 和 [https://llm-as-a-judge.github.io](https://llm-as-a-judge.github.io)。

该论文试图解决传统评估方法在人工智能和自然语言处理中无法有效判断细微属性的问题。这是一个长期存在的挑战，但随着大型语言模型的发展，提出了新的解决方案。

论文的关键思路是利用大型语言模型（LLMs）作为评估工具，即“LLM-as-a-judge”范式。这种方法可以更准确地进行评分、排名或选择任务，弥补了传统方法的不足。相比现有研究，这一思路更加灵活且能够捕捉复杂的语义信息。

论文提供了一个全面的分类体系，从三个维度探讨了LLM-as-a-judge的应用：判断内容、判断方式和应用领域。此外，论文还编制了一系列基准测试，以评估LLM-as-a-judge的效果，并指出了未来的研究方向。论文提供了丰富的资源链接，包括论文列表和相关资料，方便研究人员进一步探索。

最近在这个领域中，相关的研究还包括：1.《Evaluating Large Language Models as Code Reviewers》：探讨了LLMs在代码审查中的应用；2.《Using Large Language Models for Automated Essay Scoring》：研究了LLMs在自动作文评分中的表现；3.《Benchmarking Large Language Models for Fact-Checking》：评估了LLMs在事实核查任务中的效果。