RDBE: Reasoning Distillation-Based Evaluation Enhances Automatic Essay Scoring

最近，各种仅编码器和编码器-解码器的预训练模型，如BERT和T5，已被应用于自动作文评分（AES）作为小语言模型。然而，现有的研究主要将此任务视为分类问题，仅关注在目标文本中输出分数，而没有提供生成分数的解释。与这些方法不同，我们引入了基于推理蒸馏的评估（RDBE），它通过初始推理将可解释性集成到模型评分中，阐明模型得分背后的理由并提高性能。这种解释能力是在训练期间通过利用大型语言模型（LLM）生成的推理来蒸馏小型语言模型（SLM）而获得的。我们的实验结果表明，RDBE在数据集中考虑的所有评分标准上都具有很高的效力。RDBE优于零-shot LLM生成和基线微调模型生成，成为相应数据集中最先进的模型，强调了其实用的解释输出和增强的性能。

本论文旨在提出一种新的方法，将可解释性融入自动论文评分中，以便更好地理解模型的评分过程和结果。同时，通过使用大型语言模型生成的推理，提高小型语言模型的性能。

本论文提出了一种名为RDBE的方法，它在训练过程中利用大型语言模型生成的推理来提高小型语言模型的性能，并增加了可解释性，以便更好地理解模型的评分过程和结果。

论文的实验结果表明，RDBE方法在所有考虑的评分标准中都具有优异的性能，优于零-shot LLM生成和基线微调模型的生成。同时，该方法可以产生可解释性的输出，进一步提高了其实用性。论文使用了自动论文评分数据集，并提供了开源代码。

最近的相关研究主要是将预训练模型应用于自动论文评分，如BERT和T5。但是，现有的研究主要将此任务视为分类问题，仅关注在目标文本中输出分数，而没有提供生成分数的解释。