Exploring Automated Distractor Generation for Math Multiple-choice Questions via Large Language Models

多项选择题（MCQs）在几乎所有教育层面中都很常见，因为它们易于管理、评分，并且是一种可靠的评估和练习格式。MCQs最重要的一个方面是干扰项，即针对真实学生的常见错误或误解而设计的不正确选项。迄今为止，制作高质量的干扰项仍然是教师和学习内容设计师劳动和时间密集型的工作，这限制了可扩展性。在这项工作中，我们研究了在数学MCQs领域自动制作干扰项的任务，并探索了各种基于大型语言模型（LLM）的方法，从上下文学习到微调。我们使用真实的数学MCQ数据集进行了广泛的实验，并发现虽然LLMs可以生成一些数学上有效的干扰项，但它们不太擅长预测真实学生中的常见错误或误解。

本文研究在数学多项选择题中自动生成干扰项的问题，探索基于大型语言模型的多种方法。目前，手动制作干扰项仍然是耗时的，缺乏可扩展性的，需要解决自动生成干扰项的问题。

本文使用大型语言模型进行干扰项的自动生成，包括上下文学习和微调等方法。实验结果表明，虽然语言模型可以生成一些数学上有效的干扰项，但在预测真实学生的常见错误或误解方面不够熟练。

本文使用真实世界中的数学多项选择题数据集进行了广泛的实验，并发现大型语言模型可以生成一些数学上有效的干扰项，但是在预测真实学生的常见错误或误解方面表现不佳。本文提供了一种自动生成干扰项的新思路，但是需要进一步研究来提高其性能。本文的工作也可以为其他领域的自动生成问题提供参考。

在最近的相关研究中，也有一些关于使用自然语言处理技术自动生成干扰项的工作。例如，论文《基于语义相似度的数学多项选择题干扰项自动生成方法》提出了一种基于语义相似度的方法来生成干扰项。