SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities

最近，命名实体识别（NER）的进展推动了该任务的边界，引入了许多变体，包括多模式NER（MNER）或基于视觉的MNER（GMNER）。这些任务的一个关键挑战是，模型应该能够推广到在训练期间未见过的实体，并且应该能够处理具有噪声注释的训练样本。为了解决这个障碍，我们提出了SCANNER（用于NER的Span CANdidate检测和识别），这是一个能够有效处理所有三种NER变体的模型。SCANNER是一个两阶段结构；我们在第一阶段提取实体候选项，并将其用作查询以获取知识，从而有效地从各种来源获取知识。我们可以利用这个以实体为中心的提取的知识来处理未见实体，从而提高我们的性能。此外，为了解决NER数据集中由于噪声注释而产生的挑战，我们引入了一种新颖的自我蒸馏方法，增强了我们的模型在处理具有固有不确定性的训练数据时的鲁棒性和准确性。我们的方法在NER基准测试中展示了竞争性能，并在MNER和GMNER基准测试上超越了现有方法。进一步的分析表明，所提出的蒸馏和知识利用方法提高了我们的模型在各种基准测试中的性能。

本论文旨在解决命名实体识别（NER）中的多模态NER（MNER）或基于视觉信号的NER（GMNER）的问题，包括如何处理训练中未见过的实体和如何处理带有噪声注释的训练数据。

SCANNER是一个两阶段结构，第一阶段提取实体候选项并将其用作查询以获取知识，有效地从各种来源提取知识。第二阶段使用这些实体中心提取的知识来处理未见过的实体，并引入一种新的自我蒸馏方法来增强模型对具有固有不确定性的训练数据的鲁棒性和准确性。

该方法在NER基准测试中表现出竞争性能，并在MNER和GMNER基准测试中超过现有方法。实验设计了相关数据集，并使用了自我蒸馏方法来提高模型的鲁棒性和准确性。

最近的相关研究包括将视觉信号应用于NER任务的多种变体，以及如何处理训练数据中的噪声注释。相关论文包括“End-to-End Multi-Modal Named Entity Recognition with Neural Modularity”和“Learning to Learn from Noisy Annotations”。