A Survey on Evaluating Large Language Models in Code Generation Tasks

本文全面评估了目前用于评估大型语言模型（LLM）在代码生成任务中表现的方法和指标。随着自动化软件开发需求的迅速增长，LLM在代码生成领域展示了显著的潜力。本文首先回顾了LLM的历史发展及其在代码生成中的应用。接下来，详细介绍了评估LLM代码生成能力的各种方法和指标，包括代码正确性、效率、可读性以及基于专家评审和用户体验的评估方法。本文还评估了广泛使用的基准数据集，确定了它们的局限性，并提出了未来改进方向。具体而言，本文通过结合多种评估指标，如代码编译/解释成功率、单元测试通过率以及性能和效率指标，综合评估了代码生成模型在不同任务中的表现，以全面评估LLM在代码生成中的实际应用。最后，本文讨论了在评估LLM在代码生成中所面临的挑战，特别是如何确保评估方法的全面性和准确性以及如何适应软件开发实践的不断发展。这些分析和讨论为进一步优化和改进LLM在代码生成任务中的应用提供了有价值的见解。

评估大型语言模型在代码生成任务中的性能，包括代码的正确性、效率和可读性等方面。

综合多种评估指标，如代码编译/解释成功率、单元测试通过率和性能和效率指标，对代码生成模型在不同任务中的表现进行评估。

论文回顾了大型语言模型在代码生成中的应用历史，评估了广泛使用的基准数据集的局限性，并提出了未来改进的方向。论文还讨论了评估大型语言模型在代码生成中面临的挑战，包括如何确保评估方法的全面性和准确性以及如何适应软件开发实践的不断变化。

近期的相关研究包括《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》和《Deep API Learning》。