AI on AI: Exploring the Utility of GPT as an Expert Annotator of AI Publications

在一个动态研究领域中识别科学出版物通常需要专业主题专家进行昂贵的注释。像广泛接受的分类标准或领域分类法这样的资源在涵盖新兴主题和技术的人工智能（AI）领域中是不可用的。我们通过从现有专家标签中推断出AI研究的功能定义，然后评估最先进的聊天机器人模型在专家数据注释任务上的表现来解决这些挑战。我们使用arXiv出版物数据库作为基准，尝试使用GPT聊天机器人模型进行提示工程，以识别一个替代的自动专家注释流程，该流程以94%的准确率分配AI标签。为了比较，我们对一种在科学出版物上进行预训练的转换器语言模型SPECTER进行微调，其在分类AI出版物方面实现了96%的准确率（仅比GPT高2%）。我们的结果表明，通过有效的提示工程，即使需要专业领域专业知识，聊天机器人也可以用作可靠的数据注释器。为了评估聊天机器人注释数据集在下游分类任务中的实用性，我们在GPT标记的数据上训练了一个新的分类器，并将其性能与arXiv训练的模型进行比较。在GPT标记的数据上训练的分类器比arXiv训练的模型表现优异，准确率达到82%，比后者高九个百分点。

如何在缺乏领域分类标准的情况下，使用聊天机器人模型对人工智能领域的科学出版物进行有效的自动标注？

通过对专家标签的功能性定义，使用 GPT 聊天机器人模型进行有效的自动标注，并使用该标注数据集训练新的分类器，取得了较高的准确率。

论文使用 arXiv 数据库作为地面真实数据集，使用 GPT 和 SPECTER 两个聊天机器人模型进行实验，证明了在有效的提示工程下，聊天机器人模型可以作为可靠的数据标注者。同时，论文还展示了使用 GPT 标注数据集训练的分类器相比使用 arXiv 数据集训练的分类器有更高的准确率。

在最近的相关研究中，有一些研究探讨了基于自然语言处理的科学文献分类方法，例如《A Survey of Deep Learning for Scientific Literature》和《Hierarchical Attention Networks for Document Classification》。