MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks

信息抽取（IE）是自然语言处理中的基础领域，即使在上下文示例的帮助下，使用大型语言模型（LLM）也无法击败针对非常小的IE数据集进行调整的小型LM。我们观察到，命名实体识别和关系抽取等IE任务都专注于提取重要信息，这可以形式化为标签到跨度的匹配。在本文中，我们提出了一个新的框架MetaIE，通过学习提取“重要信息”即IE的元理解，构建一个小型LM作为元模型，以便该元模型可以有效且高效地适应各种IE任务。具体而言，MetaIE通过符号蒸馏从LLM中遵循标签到跨度方案获取小型LM。我们通过从语言模型预训练数据集（例如我们的OpenWebText）中抽样句子并提示LLM识别“重要信息”的类型跨度来构建蒸馏数据集。我们在少样本适应设置下评估元模型。来自6个IE任务的13个数据集的广泛结果证实，MetaIE可以为在IE数据集上进行少样本调整提供更好的起点，并且优于其他元模型，包括（1）纯粹的语言模型预训练，（2）带有人类注释的多IE任务预训练，以及（3）从LLM进行单个IE任务符号蒸馏。此外，我们提供了MetaIE的全面分析，例如蒸馏数据集的大小、元模型架构和元模型的大小。

本文旨在解决信息提取（IE）中的重要信息抽取问题，提出了一种新的框架MetaIE，通过学习抽取重要信息来构建一个小型元模型，以便有效地适应各种IE任务。

MetaIE通过符号蒸馏从大型语言模型中提取元理解，构建小型元模型，然后在少样本适应设置下对其进行评估。

MetaIE的实验结果表明，它可以为IE数据集提供更好的起点，并且优于其他元模型。此外，本文还提供了MetaIE的综合分析，如蒸馏数据集的大小，元模型架构和大小等。

最近的相关研究包括《Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network》和《Few-shot Named Entity Recognition with Implicit Alignment》等。