NoviCode: Generating Programs from Natural Language Utterances by Novices

目前的文本转代码模型展示了从自然语言片段生成可执行代码的印象深刻能力。然而，目前的研究集中在技术指令和面向程序员的语言上，而且一个未解决的问题是这些模型是否能够有效地将非技术用户提供的自然语言描述和复杂目标转化为包含API访问和控制结构（如循环、条件和序列）的复杂流程的可执行程序。为了解决从简单的非技术描述生成完整程序的挑战，我们提出了NoviCode，这是一项新的自然语言编程任务，它以API和新手非程序员的自然语言描述作为输入，并提供可执行程序作为输出。为了评估模型在这个任务上的有效性，我们提供了一个新的基准测试，其中生成的程序代码不是根据其形式，而是根据其功能执行进行评估。我们的实验表明，首先，NoviCode确实是代码合成领域中一个具有挑战性的任务，从非技术指令生成复杂代码超出了当前的文本到代码范式。其次，我们展示了一种新的方法，其中我们将自然语言话语与代码的组合层次结构对齐，大大提高了LLM在这个任务上的性能，与端到端的文本到代码对应物相比。

本论文旨在解决当前文本生成代码的模型只能处理技术指令和程序员语言的问题，无法有效地将非技术用户提供的自然语言描述转化为复杂的可执行程序的问题。

论文提出了一种新的NL编程任务NoviCode，通过将NL语句与代码的组合层次结构对齐，极大地提高了LLMs在此任务上的性能。

论文提供了一个新的基准测试，其中生成的程序代码不是根据其形式，而是根据其功能执行进行评估。实验结果表明，NoviCode确实是代码合成领域中一个具有挑战性的任务。此外，论文还探讨了如何将NL语句与代码的组合层次结构对齐，以提高LLMs在此任务上的性能。

在这个领域中，最近的相关研究包括CodeBERT、GPT-3等。