Designing Prompt Analytics Dashboards to Analyze Student-ChatGPT Interactions in EFL Writing

ChatGPT通过为学生提供个性化资源，对教育产生了重大影响，但将其整合到教育环境中也带来了前所未有的风险，例如AI生成内容的不准确性和偏见、抄袭和对AI的过度依赖，以及隐私和安全问题。为帮助教师应对这些风险，我们进行了一个两阶段的迭代设计过程，包括对六名EFL（英语作为外语）教师的调查、访谈和原型演示，他们将ChatGPT整合到为期一个学期的英语论文写作课程中。根据初步调查和访谈中确定的需求，我们开发了Prompt Analytics Dashboard（PAD）的原型，该原型整合了学生和ChatGPT之间的论文编辑历史和聊天记录。教师对原型的反馈指导了未来PAD的额外功能和未满足的需求，帮助他们（1）分析学生行为的上下文分析，（2）设计整体学习循环，（3）发展他们的教学技能。

解决问题：论文旨在帮助教师应对将ChatGPT整合到教育设置中所面临的风险，包括AI生成内容的不准确性和偏见、抄袭和过度依赖AI、以及隐私和安全问题。

关键思路：通过开发Prompt Analytics Dashboard（PAD）的原型，将学生与ChatGPT之间的聊天记录和文章编辑历史集成到一起，帮助教师分析学生行为的背景信息，设计整体学习循环，并提高他们的教学技能。

其他亮点：在6名EFL教师的参与下，通过两个迭代的设计过程（包括调查、访谈和原型演示），开发了PAD原型，帮助教师应对将ChatGPT整合到英语写作课程中所面临的风险。实验使用了英语作文数据集，该论文提出的PAD工具可以帮助教师分析学生行为背景信息，设计整体学习循环，并提高他们的教学技能。

相关研究：在这个领域中，还有一些相关的研究。例如，关于AI在教育中的应用，有一篇题为“AI in Education: A Review”的综述论文。还有一些关于自然语言处理和AI在教育中的应用的研究，如“Intelligent Tutoring Systems with Natural Language Processing: A Systematic Review”和“Artificial Intelligence in Education: Promises and Implications for Teaching and Learning”。