- 论文名称:Automated cross-prompt scoring of essay traits
自动作文评分(英文叫Automated Essay Scoring,简称AES)旨在使用计算机来根据论文的整体质量或与某些属性(trait)相关的质量来评分,例如,文章组织、切题程度、叙述性等。现有的大多数研究都是针对同一主题的已评分作文数据集上进行模型的训练和预测(如图1左上角和左下角),其中训练和测试数据都是从同一分布中(DA)提取的。
在探讨自动跨主题作文属性评分的任务中,本文解决了两个问题: - 属于不同题目的文章有不同的trait集,因此许多trait有部分覆盖率(论文中叫partial-trait coverage),这会导致某些trait的训练数据不足。 - 不同trait之间存在高度的相关性。
为了解决partial-trait coverage的问题,本文还引入了一种多任务的方法,即Cross-prompt Trait Scorer(CTS),该方法同时预测总体分数和所有trait的分数。这使得模型能够对训练集中的所有数据进行训练,以学习更鲁棒的表示。为了解决trait间关系的问题,本文设计了一个trait-attention机制,利用最相关的trait信息来预测每个trait的分数。
本篇论文提出的新任务更贴近真实场景,设计的新方法解决了训练数据受限的问题,设计的trait-attention机制能利用不同trait之间存在的关系。感兴趣的可以戳链接。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢