From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge

评估和评价长期以来一直是人工智能（AI）和自然语言处理（NLP）中的关键挑战。然而，无论是基于匹配的传统方法还是基于嵌入的方法，往往无法准确判断细微属性，也无法提供令人满意的结果。最近在大型语言模型（LLMs）方面的进展启发了“LLM作为评判者”的范式，即利用LLMs在各种任务和应用中进行评分、排名或选择。本文对基于LLM的评判和评估进行了全面综述，提供了深入的概述以推动这一新兴领域的发展。我们首先从输入和输出两个角度给出详细的定义。然后，我们介绍了一个综合分类法，从三个维度探讨“LLM作为评判者”：评判什么、如何评判以及在哪里评判。最后，我们编制了评估“LLM作为评判者”的基准，并强调了关键挑战和有前景的方向，旨在提供有价值的见解并激发该研究领域的未来研究。“LLM作为评判者”的论文列表和更多资源可以在以下网址找到：[https://github.com/llm-as-a-judge/Awesome-LLM-as-a-judge](https://github.com/llm-as-a-judge/Awesome-LLM-as-a-judge) 和 [https://llm-as-a-judge.github.io](https://llm-as-a-judge.github.io)。

该论文旨在解决传统评估方法在人工智能和自然语言处理中的不足，特别是在判断细微属性方面的能力有限。提出了利用大型语言模型（LLMs）作为评估工具的新范式。

论文的关键思路是利用LLMs的强大语言理解和生成能力，将其应用于评分、排名和选择等任务中，以提高评估的准确性和细致度。这一思路相比传统的匹配或嵌入方法，能够更好地捕捉文本的细微差异。

论文提供了一个全面的分类法，从三个维度探讨了LLM-as-a-judge的应用：评估内容、评估方法和应用场景。此外，还编制了评估LLM-as-a-judge的基准测试，并指出了未来研究的关键挑战和方向。论文提供了资源链接，包括论文列表和更多资料。

近期在这个领域的一些相关研究包括：1. 'Evaluating Large Language Models as Code Reviewers'，探讨了LLMs在代码审查中的应用；2. 'Using LLMs for Automated Essay Scoring'，研究了LLMs在自动作文评分中的表现；3. 'LLM-based Assessment in Educational Testing'，探索了LLMs在教育测试中的应用。