Large Language Model Enhanced Knowledge Representation Learning: A Survey

大语言模型（LLM）与知识表示学习（KRL）的整合标志着人工智能（AI）领域的重大进展，增强了捕捉和利用结构和文本信息的能力。尽管越来越多的研究致力于增强LLM的KRL，但缺乏一份全面的调查分析这些增强模型的过程。我们的调查通过将这些模型基于三种不同的Transformer架构进行分类，并通过分析来自各种KRL下游任务的实验数据来评估每种方法的优缺点。最后，我们确定并探索这个新兴但尚未充分开发的领域的潜在未来研究方向。

本论文旨在探讨将大型语言模型（LLM）与知识表示学习（KRL）相结合的方法，以提高人工智能领域中的结构和文本信息的捕捉和利用能力。

论文通过对三种不同的Transformer架构进行分类，并分析各种KRL下游任务的实验数据，评估每种方法的优缺点，以解决KRL与LLM相结合的问题。

本论文的亮点包括分类三种不同的Transformer架构、分析各种KRL下游任务的实验数据、评估每种方法的优缺点，并探讨未来的研究方向。实验使用了多个数据集，但未提供开源代码。

在这个领域中，最近的相关研究包括：1. Incorporating External Knowledge into Large-scale Neural Language Models; 2. Knowledge Graph Embeddings for Disease Diagnosis with Electronic Medical Records; 3. A Survey on Knowledge Graphs: Representation, Acquisition and Applications.