CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming Assistant that Balances Student and Educator Needs

及时、个性化的反馈对于学习编程的学生至关重要，特别是在班级规模扩大的情况下。像ChatGPT这样基于LLM的工具可以提供即时支持，但会直接显示带有代码的答案，这可能会阻碍深入的概念理解。我们开发了CodeAid，这是一个基于LLM的编程助手，可以提供有用的、技术上正确的响应，而不会显示代码解决方案。例如，CodeAid可以回答概念性问题，生成带有逐行解释的伪代码，并用修复建议注释学生的错误代码。我们在一个有700名学生的编程班级中使用CodeAid进行了为期12周的学期部署。对8000次CodeAid使用情况的主题分析进行了调查，同时还进行了每周的调查和22次学生采访，然后采访了八位编程教育家，以进一步了解CodeAid。研究结果显示，学生主要使用CodeAid来理解概念和调试，尽管少数学生试图获得直接的代码。教育家赞赏CodeAid的教育方法，并对偶尔出现的不正确反馈和学生默认使用ChatGPT表示担忧。

CodeAid试图解决编程学习中的个性化反馈和深入概念理解之间的平衡问题，同时避免直接展示代码解决方案对学生概念理解的干扰。

CodeAid是一种基于LLM的编程助手，可以回答概念性问题，生成伪代码并进行逐行解释，对学生的错误代码进行注释和修改建议，从而提供有用的技术正确的反馈。

CodeAid在一个拥有700名学生的编程课程中进行了12周的部署和使用，并通过主题分析、学生调查和教育者访谈进行了评估。实验结果显示，学生主要使用CodeAid来理解概念和进行调试，教育者则认为CodeAid的教育方法很好，但也存在一些错误反馈和学生依赖ChatGPT的问题。

与CodeAid相关的研究包括基于LLM的编程辅助工具ChatGPT，以及其他一些编程学习中的个性化反馈和概念理解平衡问题的研究，如Codepourri和Codehints等。