苏黎世大学 | ChatGPT在文本注释任务中表现优于众包工作者

【推荐理由】本文证明了ChatGPT在几个NLP注释任务中表现优于众包工作者，包括相关性、立场、主题和框架检测。

ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks
Fabrizio Gilardi, Meysam Alizadeh, Ma¨el Kubli
[University of Zurich]

【论文链接】https://arxiv.org/pdf/2303.15056.pdf

【摘要】许多自然语言处理应用程序需要手动数据注释来完成各种任务，尤其是训练分类器或评估无监督模型的性能。根据任务的规模和复杂程度，可以通过MTurk等平台的众包工作者或受过训练的注释员来完成。本文使用2,382条推文的样本，证明了ChatGPT在几个注释任务中优于众包工作者，包括相关性、立场、主题和框架检测。具体而言，ChatGPT的零-shot准确率在五个任务中有四个优于众包工作者，而ChatGPT的注释者间一致性在所有任务中均优于众包工作者和受过训练的注释员。此外，ChatGPT的每个注释成本不到0.003美元，比MTurk便宜约二十倍。这些结果显示了大型语言模型极大提高文本分类效率的潜力。