Evaluating the Effectiveness of LLMs in Introductory Computer Science Education: A Semester-Long Field Study

使用大型语言模型（LLMs）作为AI助手，特别是将其整合到计算机科学教育中，引发了广泛的讨论。虽然出现了一些关于在教育中使用LLMs的研究，但很少有人在真实世界的情境下和长时间内研究LLMs对入门级编程课程学生的影响。为了填补这一研究空白，我们进行了一项为期一个学期的研究，对50名学生进行了两组研究，其中一组使用由我们研究团队开发的LLM助手CodeTutor。研究结果显示，使用CodeTutor的学生（实验组）在期末成绩上相对于未使用该工具的同龄人（对照组）有显著的成绩提高。在实验组中，那些没有使用过LLM助手的学生相对于有使用过的学生表现出更大的成绩提高。此外，我们还发现学生对CodeTutor的能力表示了积极的反馈，但他们也对CodeTutor在发展批判性思维技能方面的作用有所担忧。在整个学期中，学生对CodeTutor建议的认同度下降，更倾向于得到传统人类教学助手的支持。我们的分析还显示，用户提示的质量与CodeTutor的响应效果显著相关。基于我们的研究结果，我们讨论了将生成式AI素养整合到课程中以培养批判性思维技能的影响，并转向研究用户使用LLM助手的时间动态。我们进一步讨论了工具预期功能与学生实际能力之间的差距，这为改善教育成果提供了量身定制的策略。

本论文旨在探讨将大型语言模型（LLMs）应用于计算机科学教育中的影响，特别是在实际环境和较长时间内对入门编程课程学生的影响。

本研究使用由研究团队开发的LLM助手CodeTutor进行了一学期的实验，结果表明使用CodeTutor的学生（实验组）在期末成绩上取得了显著的改善，而未使用该工具的同龄人（对照组）则没有。实验组中没有使用过LLM助手的学生相比于有经验的同学表现出更大的性能提高。

实验结果表明，CodeTutor的用户提示质量与其响应效果显著相关。学生对CodeTutor的能力表示积极的反馈，但也对其在发展批判性思维技能方面的有限作用表示担忧。在整个学期中，学生对CodeTutor的建议的认同度下降，更倾向于传统人类助教的支持。论文讨论了将生成式AI素养融入课程中以培养批判性思维技能的影响，并探讨了用户使用LLM助手的时间动态。

最近的相关研究包括探索LLM在教育中的应用，但很少有人在实际环境和较长时间内研究LLM对入门编程课程学生的影响。相关论文包括：“The Effect of AI-Driven Writing Assistants on Writing Quality and Writing Process”和“Using Machine Learning to Improve Student Programming Feedback”等。