LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods

大型语言模型（LLMs）的迅速发展推动了它们在各个领域的广泛应用。其中一个最有前景的应用是基于自然语言响应的角色——“LLMs作为裁判”。由于其出色的效率、跨任务的泛化能力和以自然语言形式的可解释性，这一框架已经引起了学术界和工业界的广泛关注。本文从五个关键视角对“LLMs作为裁判”的范式进行了全面综述：功能、方法、应用、元评估和局限性。我们首先系统地定义了“LLMs作为裁判”并介绍了其功能（为什么使用LLM裁判？）。然后，我们讨论了如何构建基于LLMs的评估系统（如何使用LLM裁判？）。此外，我们探讨了它们潜在的应用领域（在哪里使用LLM裁判？）并讨论了在不同情境下评估它们的方法（如何评估LLM裁判？）。最后，我们详细分析了LLM裁判的局限性，并讨论了未来可能的发展方向。通过结构化和全面的分析，我们旨在为研究和实践中“LLMs作为裁判”的发展和应用提供洞见。我们将继续在https://github.com/CSHaitao/Awesome-LLMs-as-Judges 维护相关资源列表。

论文探讨了大型语言模型（LLMs）作为评判者（LLMs-as-judges）的应用问题，旨在系统地定义这一框架，并从多个角度全面分析其功能、方法、应用、元评估和局限性。

论文的关键思路是通过五个视角——功能性、方法论、应用、元评估和局限性——对LLMs-as-judges进行全面的调查和分析。这一框架不仅提供了理论上的支持，还为实际应用提供了指导，特别是如何构建和评估基于LLMs的评价系统。

1. 论文提供了一个系统的定义和分析框架，帮助理解LLMs-as-judges的功能和局限。 2. 详细讨论了如何构建和评估基于LLMs的评价系统，包括具体的方法和技术。 3. 探讨了LLMs-as-judges在不同领域的潜在应用，如教育、医疗和法律等。 4. 提供了一个持续更新的资源列表，方便研究人员和实践者跟踪最新进展。 5. 开源了相关资源，包括代码和数据集，促进了该领域的进一步研究。

1. "Evaluating and Improving the Robustness of NLP Models" - 这篇论文探讨了自然语言处理模型的鲁棒性评估方法。 2. "A Survey on Evaluation Metrics for Dialogue Systems" - 这篇综述文章详细介绍了对话系统的评估指标。 3. "Benchmarking Neural Network Robustness to Common Corruptions and Perturbations" - 该论文提出了一种基准测试方法，用于评估神经网络对常见扰动的鲁棒性。 4. "On the Evaluation of Generative Models in Computer Vision" - 这篇文章讨论了计算机视觉中生成模型的评估方法。 5. "Automated Evaluation of Natural Language Generation Systems" - 该论文提出了自动评估自然语言生成系统的几种方法。