Supporting Self-Reflection at Scale with Large Language Models: Insights from Randomized Field Experiments in Classrooms

自我学习经验的反思是一种基本的认知过程，对于知识巩固和学习效果的提高至关重要。然而，传统的促进反思的方法常常面临个性化、即时反馈、参与度和可扩展性等方面的挑战。将大型语言模型（LLMs）整合到反思过程中可以缓解这些限制。本文在本科计算机科学课程中进行了两项随机实验，以研究LLMs帮助学生进行课后反思的潜力。在第一项实验中（N=145），学生在LLM助手的支持下完成了一份课后作业；其中一半的学生随后获得了一个旨在促进自我反思的LLM。结果表明，分配到LLM引导反思的学生报告了增加的自信心，并在两周后的随后考试中表现比对照组同学更好。在第二项实验中（N=112），我们评估了LLM引导的自我反思与其他可扩展反思方法（如问卷调查和重点讲义幻灯片的复习）之间的影响。我们的研究结果表明，在相同的主题上两周后的监考考试中，填写问卷和LLM反思组的学生表现同样出色，并且比那些只接触讲义幻灯片的学生表现更好。这些结果强调了LLM引导反思和基于问卷的活动在提高学习成果方面的实用性。我们的研究突显了，仅关注LLMs的准确性可能忽视了它们通过自我反思等实践来增强元认知技能的潜力。我们讨论了我们的研究对Edtech社区的影响。

使用大型语言模型（LLMs）帮助学生进行自我反思的可行性研究。

将LLMs集成到学生的反思过程中可以解决传统方法面临的个性化、即时反馈、参与度和可扩展性等挑战。

通过两个随机实验，在大学计算机科学课程中研究了LLMs帮助学生进行反思的潜力。实验结果表明，使用LLM辅助反思的学生在自信度和考试成绩上表现更好。与问卷和讲座幻灯片相比，LLM引导的反思和问卷反思组的学生在后续考试中表现相当好，优于只接触讲座幻灯片的学生。

最近的相关研究包括使用自然语言处理技术来改善学生的写作和阅读理解能力，以及使用机器学习方法来预测学生的学习成果。相关论文包括“使用自然语言处理技术来改善学生写作的反馈”和“机器学习方法在教育中的应用：预测学生成绩和学生流失”等。