Improving LLM Classification of Logical Errors by Integrating Error Relationship into Prompts

现在，经过编程语法理解的LLMs已经为开发人员提供了有效的帮助，并被用于编程教育，比如生成编码问题示例或提供代码解释。编程教育的一个关键方面是理解和处理错误信息。然而，在程序按照程序员的意图运行时的“逻辑错误”不会从编译器中获得错误消息。在这项研究中，我们在现有的编程错误研究基础上，首先定义了一般编程中可能出现的逻辑错误类型。基于这个定义，我们提出了一种有效的使用LLMs检测逻辑错误的方法，该方法利用了Chain-of-Thought和Tree-of-Thought提示中错误类型之间的关系。实验结果表明，当使用这些提示中的逻辑错误描述时，平均分类性能比没有使用这些提示时高约21%。我们还进行了一项实验，利用LLMs利用错误之间的关系生成一个新的逻辑错误数据集。由于逻辑错误的数据集非常有限，这种基准数据集对于各种编程相关应用非常有用。我们希望我们的工作可以帮助新手程序员识别代码错误的原因并更有效地纠正它们。

使用LLMs检测程序中的逻辑错误，解决编程教育中的问题。

利用Chain-of-Thought和Tree-of-Thought提示中错误类型之间的关系，提出一种检测逻辑错误的有效方法。

通过描述逻辑错误的提示，分类性能平均提高了21%。利用LLMs生成了一个新的逻辑错误数据集。

最近的相关研究包括使用LLMs来帮助程序员编写代码和理解代码，以及使用神经网络来检测程序中的错误。