LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities

本文对大型语言模型（LLM）在知识图谱（KG）构建和推理方面进行了详尽的定量和定性评估。我们在八个不同的数据集上进行了实验，关注了四个代表性的任务，包括实体和关系抽取、事件抽取、链接预测和问答，从而全面探索了LLM在构建和推理领域的性能。实证结果表明，以GPT-4为代表的LLM更适合作为推理助手，而非少样本信息提取器。具体而言，虽然GPT-4在与KG构建相关的任务中表现良好，但在推理任务中表现更加出色，在某些情况下超过了微调模型。此外，我们的研究还扩展到了LLM在信息提取方面的潜在泛化能力，提出了虚拟知识提取任务并开发了相应的VINE数据集。基于这些实证结果，我们进一步提出了AutoKG，这是一种基于多智能体的方法，利用LLM和外部资源进行KG构建和推理。我们预计这项研究可以为知识图谱领域的未来工作提供宝贵的见解。代码和数据集位于https://github.com/zjunlp/AutoKG。

该论文旨在对大型语言模型（LLMs）在知识图谱（KG）构建和推理方面的表现进行全面的定量和定性评估。研究重点在于探索LLMs在实体和关系提取、事件提取、链接预测和问答等四个代表性任务中的表现。

论文发现，相较于少样本信息提取，LLMs更适合作为推理助手。具体而言，GPT-4在与KG构建相关的任务中表现良好，但在推理任务中表现更出色，在某些情况下超过了微调模型。此外，论文还探讨了LLMs在信息提取方面的潜在泛化能力，并提出了虚拟知识提取任务和相应的VINE数据集。

论文在八个不同的数据集上进行了实验，并提出了一个基于LLMs和外部资源的多智能体方法AutoKG，用于KG构建和推理。论文还开源了代码和数据集。

近期在这个领域的相关研究包括：《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》、《Knowledge Graph Embedding: A Survey of Approaches and Applications》等。