ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning

P Törnberg
[University of Amsterdam]

ChatGPT-4在零样本学习标注政治Twitter信息方面超过专家和众包标注人员

要点:

  • 动机：旨在评估大型语言模型ChatGPT-4在Twitter信息分析任务中的准确性、可靠性和偏差，并将其与专家分类器和众包工作者手动标注的结果进行比较。
  • 方法：通过零样本学习的方式来对政治Twitter信息进行分类，以此评估ChatGPT-4模型的性能表现，同时与专家和众包工作者手动标注的结果进行比较。
  • 优势：发现ChatGPT-4在分类政治Twitter信息方面的表现优于专家和众包标注人员。这些发现表明，LLM对于文本数据的使用具有显著的科学意义，能够使得大规模的解释性研究成为可能，具有比传统方法更高的数据质量，而且成本和技术门槛更低。


ChatGPT-4通过零样本学习在分类政治Twitter信息方面的表现超过了专家和众包标注人员。

https://arxiv.org/abs/2304.06588 
图片


内容中包含的图片若涉及版权问题，请及时与我们联系删除