现有大多数的NER方法依赖于大量的标记数据进行模型训练，在训练数据有限的低资源场景中较难取得较好的效果。最近，预训练语言模型的提示微调（Prompt-tuning）方法通过利用提示作为任务指导来减少预训练模型和下游调优之间的差距，在小样本学习中取得了显着的性能。受提示微调学习的启发，本文针对低资源NER提出了一种新颖的基于提示词引导的注意力机制的轻量级生成框架LightNER。具体来说，本文作者构建了实体类别的语义感知答案空间，用于快速学习以生成实体跨度序列和实体类别，而无需任何特定于标签的分类器。作者通过将连续提示合并到自注意力层来重新调整注意力并适应预先训练的权重，并采用提示引导的注意力机制。值得注意的是，本文仅在固定预训练语言模型的整个参数的情况下调整连续提示，因此，该方法轻量灵活，且适用于低资源场景，还可以迁移跨领域的知识。实验结果表明，LightNER 可以在标准监督设置中获得可比的性能，并通过仅调整一小部分参数在低资源设置中显著优于强基线方法。

 

论文下载：https://arxiv.org/abs/2109.00720 

内容中包含的图片若涉及版权问题，请及时与我们联系删除