Sifting through the Chaff: On Utilizing Execution Feedback for Ranking the Generated Code Candidates

大型语言模型（LLMs），如GPT-4、StarCoder和CodeLlama，通过根据给定的自然语言描述自动生成代码，正在改变开发人员处理编程的方式。尽管有所进展，生成语法和语义正确的代码仍然具有挑战性，特别是对于复杂的编程任务。通常，个人使用LLMs生成多个候选解决方案，以增加产生正确代码的可能性。然而，从这些候选方案中选择正确的代码-这个过程被称为代码排名-仍然是一个重大挑战。目前关于代码排名的研究可以分为基于执行和非基于执行的方法。虽然基于执行的方法非常有效，但也存在显著的局限性，如缺乏高质量的单元测试和安全风险。仅依靠分类标签来训练代码排名器的非执行方法（例如CodeRanker）难以捕捉微妙的错误并提供详细的错误洞察。鉴于两种方法的优点和局限性，我们提出了一种新方法。我们的工作的关键洞察是，一个有效的代码排名器应该真正理解错误代码的根本原因，仅依靠分类标签是不够的。受此启发，本文提出了RankEF，一种利用执行反馈的代码排名创新方法。RankEF采用多任务学习将代码分类与执行反馈生成相结合。这种方法使模型能够理解错误代码的原因，区分正确和错误的解决方案，而无需在排名阶段执行代码。对三个代码生成基准的实验表明，RankEF明显优于最先进的CodeRanker。

解决问题：本论文旨在解决代码排名中存在的问题，即如何从多个候选解决方案中选择正确的代码。当前的方法存在一些限制，如执行方法需要高质量的单元测试和安全风险，而非执行方法则难以捕捉细微的错误和提供详细的错误洞察。因此，本论文提出了一种新的方法来解决这个问题。

关键思路：本论文提出的方法是RankEF，它利用执行反馈来进行代码排名。RankEF采用多任务学习，将代码分类与执行反馈生成相结合。这种方法使模型能够理解错误代码背后的原因，区分正确和不正确的解决方案，而无需在排名阶段执行代码。与现有的CodeRanker相比，RankEF显著提高了代码排名的性能。

其他亮点：本论文的实验基于三个代码生成基准测试，并展示了RankEF的显著优势。此外，论文还提供了开源代码。值得继续深入研究的工作包括在更广泛的应用场景中评估RankEF的性能以及探索如何将其与其他代码生成技术相结合。

相关研究：最近的相关研究包括使用基于神经网络的方法进行代码生成和代码排名。其中一些论文包括《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》和《Deep Code Comment Generation》。