Augmenting NER Datasets with LLMs: Towards Automated and Refined Annotation

在自然语言处理（NLP）领域，命名实体识别（NER）被认为是一项关键技术，被广泛应用于各种应用程序中。传统的NER数据集注释方法面临着高成本和数据集质量差异的挑战。本研究介绍了一种新颖的混合注释方法，将人类的努力与大型语言模型（LLM）的能力相结合。这种方法不仅旨在改善手动注释中固有的噪声，例如遗漏，从而增强NER模型的性能，而且还以一种具有成本效益的方式实现这一目标。此外，通过采用标签混合策略，它解决了在基于LLM的注释中遇到的类别不平衡问题。通过对多个数据集的分析，这种方法一直表现出比传统注释方法更优越的性能，甚至在预算有限的情况下也是如此。本研究阐明了利用LLM提高数据集质量的潜力，介绍了一种新的缓解类别不平衡的技术，并证明了以一种具有成本效益的方式实现高性能NER的可行性。

论文旨在解决传统命名实体识别（NER）数据集标注成本高、质量不稳定的问题，提出一种将人工标注和大型语言模型相结合的混合标注方法，旨在提高NER模型的性能并降低成本。

论文提出一种混合标注方法，将人工标注和大型语言模型相结合，以减少人工标注中的错误和遗漏，并通过标签混合策略解决大型语言模型标注中的类别不平衡问题。

论文通过多个数据集的分析表明，该方法相比传统标注方法在成本受限的情况下提供了更优异的性能。该方法不仅提高了数据集质量，还能够以更经济的方式实现高性能NER。此外，该方法还采用了标签混合策略，解决了大型语言模型标注中遇到的类别不平衡问题。

近年来，许多相关研究都致力于解决NER数据集标注的问题。例如，论文《Active Learning for Named Entity Recognition with Partially Labeled Data》提出了一种使用主动学习方法来减少标注数据量的方法。另外，论文《Transfer Learning for Named Entity Recognition with Neural Networks》则探讨了使用迁移学习来提高NER性能的方法。