ADELIE: Aligning Large Language Models on Information Extraction

大型语言模型（LLMs）通常在信息提取（IE）任务上表现不佳，并且难以遵循IE任务的复杂指令。这主要是因为LLMs与人类不对齐，因为主流的对齐数据集通常不包括IE数据。在本文中，我们介绍了ADELIE（Aligning large language moDELs on Information Extraction），这是一个对齐的LLM，可以有效地解决各种IE任务，包括封闭式IE，开放式IE和按需IE。我们首先收集和构建了一个高质量的IE对齐语料库IEInstruct。然后，我们使用IEInstruct上的指令调整来训练ADELIE_SFT。我们进一步使用直接偏好优化（DPO）目标来训练ADELIE_SFT，从而得到ADELIE_DPO。对各种保留的IE数据集进行的广泛实验表明，我们的模型（ADELIE_SFT和ADELIE_DPO）在开源模型中实现了最先进的性能。我们进一步探索了ADELIE的通用能力，实验结果表明它们的通用能力没有明显下降。我们将发布代码、数据和模型，以促进进一步的研究。

解决问题：论文试图解决LLMs在信息提取任务中表现不佳的问题，提出ADELIE模型来解决这一问题。

关键思路：通过构建高质量的对齐语料库IEInstruct，使用指令调整和直接优化偏好等方法对ADELIE模型进行训练，从而解决闭合式、开放式和按需信息提取等任务。

其他亮点：ADELIE模型在开源模型中取得了最先进的性能，并且在实验中展现出了良好的通用性能。论文提供了代码、数据和模型以促进进一步研究。

相关研究：最近的相关研究包括BERT、RoBERTa、ALBERT等大型语言模型，以及其他信息提取模型，如OpenIE-5、Stanford OpenIE等。