Towards Responsible Development of Generative AI for Education: An Evaluation-Driven Approach

世界面临的主要挑战之一是为所有人提供平等和普及的优质教育。最近发展的生成式人工智能技术（gen AI）引起了人们对新技术可能为每个学习者提供个人导师和每个教师提供教学助手的潜力的兴奋。然而，这个梦想的全部实现还没有出现。我们认为，这主要是由于将教学直觉转化为gen AI提示的困难以及缺乏良好的评估实践所致，同时也受到定义优秀教学的挑战的影响。在这里，我们介绍了我们与学习者和教育工作者合作，将学习科学的高层原则转化为七个不同的教育基准的实用方法，涵盖定量、定性、自动和人工评估，并开发了一组新的微调数据集，以提高Gemini的教学能力，引入LearnLM-Tutor。我们的评估结果表明，在许多教学维度上，教育工作者和学习者普遍更喜欢LearnLM-Tutor而不是经过提示调整的Gemini。我们希望这项工作可以作为开发全面的教育评估框架的第一步，并且可以使AI和EdTech社区在最大程度地发挥gen AI在教育中的积极作用方面取得快速进展。

如何利用gen AI技术提供公平、普及、高质量的教育？

将学习科学中的高级原则转化为实用的教育基准，使用新的微调数据集改进pedagogical AI，提出LearnLM-Tutor，可以在多个教育维度上优于已有的gen AI

论文提出了一套教育基准，包括定量、定性、自动和人工评估；设计了新的微调数据集，提高了pedagogical AI的能力；实验结果表明LearnLM-Tutor在教育维度上优于已有的gen AI；该工作可为发展全面的教育评估框架提供第一步，推动gen AI在教育领域的快速进展

近期的相关研究包括《The Potential of AI in Education: A Review》、《Artificial Intelligence in Education: Challenges and Opportunities》等