Exploring Automated Distractor Generation for Math Multiple-choice Questions via Large Language Models

多项选择题（MCQs）在几乎所有教育层面中都很普遍，因为它们易于管理、评分，是评估和实践中可靠的格式。MCQs最重要的方面之一是干扰项，即旨在针对真实学生中的常见错误或误解的不正确选项。到目前为止，制作高质量干扰项的任务仍然是教师和学习内容设计师的一项耗时费力的工作，这限制了可扩展性。在这项工作中，我们研究了在数学MCQ领域中自动生成干扰项的任务，并探索了各种基于大型语言模型（LLM）的方法，从上下文学习到微调。我们使用真实的数学MCQ数据集进行了广泛的实验，并发现虽然LLMs可以生成一些数学上有效的干扰项，但它们不太擅长预测真实学生中的常见错误或误解。

本论文试图解决在数学多项选择题中自动生成干扰项的问题。当前这个问题在教师和学习内容设计者中仍然需要耗费大量时间和人力进行手工制作，限制了其可扩展性。

本论文探索了基于大型语言模型（LLM）的多种方法，从上下文学习到微调，以自动生成数学多项选择题中的干扰项。虽然LLMs可以生成一些数学上有效的干扰项，但它们不太擅长预测真实学生中常见的错误或误解。

论文使用真实的数学多项选择题数据集进行了广泛的实验。实验结果表明，LLMs可以生成一些数学上有效的干扰项，但它们不太擅长预测真实学生中常见的错误或误解。值得注意的是，本论文提供了一个新的基准数据集，以便未来的研究可以更好地评估这个问题的解决方案。此外，论文还提供了开源代码，以方便其他研究人员进行进一步的研究。

最近的一些相关研究包括：1.《基于神经网络的自动生成数学问题》；2.《使用深度学习生成数学问题》；3.《使用神经网络自动生成数学问题和解决方案》。