Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation

个别反馈可以帮助学生提高他们的论文写作技能。然而，提供这样的反馈所需的手动工作限制了实践中的个性化。自动生成的论文反馈可能作为一种替代方法，以指导学生按照自己的节奏、方便和所需的频率学习。大型语言模型(LLMs)已经展示了在生成连贯和上下文相关的文本方面的强大性能。然而，它们提供有用的论文反馈的能力尚不清楚。本文探讨了几种提示策略，用于基于LLM的零样本和少样本生成论文反馈。受Chain-of-Thought提示的启发，我们研究了自动论文评分(AES)如何以及在多大程度上有助于生成的反馈质量。我们评估了仅通过提示LLMs可以实现的AES性能以及生成的论文反馈的实用性。我们的结果表明，同时处理AES和反馈生成可以提高AES的性能。然而，尽管我们的手动评估强调生成的论文反馈的质量，但论文评分对生成的反馈的影响最终仍然很低。

本文探讨使用大语言模型（LLMs）自动生成论文反馈的可行性和有效性，解决了提供个性化反馈的手动工作量大的问题。

本文研究了多种提示策略，通过联合评分和反馈生成来提高大语言模型的性能。

本文通过实验评估了生成的论文反馈的质量和自动评分系统的性能，结果表明联合评分和反馈生成可以提高评分的性能，但评分对反馈的影响较小。

最近在这个领域中，还有一些相关的研究，如使用神经网络生成论文反馈的研究。