The GPT Surprise: Offering Large Language Model Chat in a Massive Coding Class Reduced Engagement but Increased Adopters Exam Performances

大型语言模型（LLMs）正在广泛应用于各种学习体验中，特别是通过像ChatGPT和Copilot这样的无处不在和广泛可访问的聊天界面。这种界面对全球的学生和教师都是方便的，但是对这种通用工具对学生学习的影响，研究还比较少。编码教育是一个有趣的测试案例，因为LLMs在编码任务上表现出色，并且LLM支持的工具正在迅速成为专业软件工程师工作流程的一部分。为了帮助理解通用LLM在编码教育中的使用对学生的影响，我们在一门在线编码课程中进行了一项大规模随机对照试验，共有来自146个国家的5,831名学生参加，我们为其中一些学生提供了使用GPT-4的聊天界面。我们估计采用者，即使用该工具的学生，在考试表现方面有积极的益处，但对于所有学生来说，GPT-4的广告导致了考试参与率的显着平均下降。我们观察到其他形式的课程参与度也出现了类似的下降。然而，这种下降受到学生所在国家的调节。向来自低人类发展指数国家的学生提供LLMs的访问权限平均增加了他们的考试参与率。我们的结果表明，在介绍性编码课程中使用LLMs可能会有有希望的益处，但也可能会对参与度造成潜在的伤害，这使得它们对学生成功的长期影响不清楚。我们的工作强调了需要进行额外的调查，以帮助理解未来采用和整合LLMs进入课堂的潜在影响。

评估通用大型语言模型在编程教育中的应用对学生学习的影响。

在一项在线编程课程中，提供通用大型语言模型聊天界面的学生在考试表现上得到了积极的益处，但整体学生中，使用GPT-4的广告导致考试参与率的显着平均下降。

通过一项涉及5,831名来自146个国家的学生的大规模随机对照试验，研究了通用大型语言模型在编程教育中的应用对学生学习的影响。结果表明，在介绍性编程课程中使用LLM可能有一些有前途的好处，但也可能会对学生的参与度产生潜在的负面影响。

最近的相关研究主要集中在LLM的性能和应用上，但对其在教育领域中的实际应用和影响的研究相对较少。