Integrating AI Tutors in a Programming Course

RAGMan是一种由LLM驱动的辅导系统，可以支持多种特定课程和作业的AI辅导员。 RAGMan利用检索增强生成（RAG）以及严格的指令，确保AI辅导员的响应与学生问题的对齐。通过使用RAGMan的AI辅导员，学生可以在不直接获取解决方案的情况下获得特定作业分配的帮助，同时还可以提出一般的编程相关问题。本文介绍了RAGMan作为选修编程课程的可选资源时，455名学生与AI辅导员的互动、学生的反馈以及比较成绩分析。总体而言，约一半的学生与AI辅导员互动，绝大多数互动都是合法的作业问题。当学生提出问题在预期范围内时，AI辅导员的准确响应率达到98％。在使用AI辅导员的学生中，78％报告称辅导员对他们的学习有帮助。除了AI辅导员提供有价值的建议的能力外，学生报告称赞它们促进了一个没有评判的安全学习环境。

评估一种基于RAG的AI辅导系统在编程课程中的效果

使用RAGMan系统的AI辅导可以帮助学生解决特定的作业问题，并且在提供准确答案的同时，不会直接提供解决方案。同时，学生可以向AI辅导提出一般性的编程问题。

约一半的学生使用了AI辅导，学生反馈良好，78%的学生表示AI辅导对他们的学习有帮助。AI辅导不仅能够提供有价值的建议，还能够营造一个没有评判的安全学习环境。

在该领域，一些相关的研究包括：1. 基于机器学习的编程辅导系统；2. 基于自然语言处理的编程辅导系统；3. 基于知识图谱的编程辅导系统。