FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios

大型语言模型（LLMs）为命名实体识别（NER）任务提供了一种新的途径。与微调相比，LLM驱动的提示方法避免了训练的需要，节省了大量的计算资源，并且依赖于最少的注释数据。以往的研究在一般的NER基准测试上达到了与完全监督的基于BERT微调方法相当的性能。然而，以往的方法没有研究LLM的基于少量样本学习在特定领域情景下的效率。为了填补这一空白，我们引入了FsPONER，一种用于优化少量样本提示的新方法，并在特定领域的NER数据集上进行了评估，重点关注工业制造和维护，同时使用多个LLM - GPT-4-32K，GPT-3.5-Turbo，LLaMA 2-chat和Vicuna。FsPONER包括基于随机抽样、TF-IDF向量和两者组合的三种少量样本选择方法。我们比较了这些方法随着少量样本数量的增加而与通用GPT-NER方法的性能，并将它们的最佳NER性能与微调的BERT和LLaMA 2-chat进行了评估。在考虑到数据稀缺的实际情况下，使用TF-IDF的FsPONER在F1分数上比微调模型高出约10%。

本论文旨在探索基于大型语言模型（LLMs）的少样本学习在特定领域的命名实体识别（NER）任务中的效率。与细调（fine-tuning）相比，LLM驱动的提示方法避免了训练的需求，节省了大量计算资源，并且只需要少量的注释数据。

FsPONER是一种基于少样本选择方法的新型LLM提示方法，包括三种少样本选择方法：随机抽样、TF-IDF向量和两者的组合。在数据稀缺的真实世界场景中，FsPONER在TF-IDF方法下的F1得分比fine-tuned模型高出约10%。

论文使用了多个LLMs，包括GPT-4-32K、GPT-3.5-Turbo、LLaMA 2-chat和Vicuna，并在工业制造和维护领域的特定NER数据集上进行了评估。实验结果表明，FsPONER在数据稀缺的情况下比fine-tuned模型更有效。

在最近的相关研究中，也有一些研究探索了基于LLMs的少样本学习在NER任务中的应用。例如，一些研究使用GPT-2和GPT-3进行少样本NER学习。