PaDeLLM-NER: Parallel Decoding in Large Language Models for Named Entity Recognition

本研究旨在减少大型语言模型（LLMs）中命名实体识别（NER）的生成延迟。LLMs中高延迟的主要原因是顺序解码过程，该过程自回归地生成NER的所有标签和提及，显著增加了序列长度。为此，我们引入了LLM并行解码NER（PaDeLLM-NER）方法，该方法无需额外模块或架构修改即可无缝集成到现有生成模型框架中。PaDeLLM-NER允许同时解码所有提及，从而减少生成延迟。实验表明，PaDeLLM-NER的推理速度显著提高，对于英文和中文，比自回归方法快1.76到10.22倍。同时，它保持了预测的质量，如在各种数据集上的表现与最先进技术相当。

解决问题：该论文旨在减少大型语言模型（LLM）中命名实体识别（NER）的生成延迟。主要问题是LLMs中的顺序解码过程，该过程自回归地生成所有标签和NER的提及，从而显着增加序列长度。

关键思路：该论文提出了一种名为PaDeLLM-NER的并行解码方法，无需额外模块或架构修改即可无缝集成到现有的生成模型框架中。该方法允许同时解码所有提及，从而降低生成延迟。

其他亮点：实验表明，PaDeLLM-NER在英语和中文两种语言中的推理速度显著提高，比自回归方法快1.76到10.22倍。同时，它通过各种数据集的表现与最先进的方法不相上下。该论文提出的方法可以为大规模NER应用提供实用的解决方案。

相关研究：最近的相关研究包括“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”和“RoBERTa: A Robustly Optimized BERT Pretraining Approach”。