A Survey of Large Language Models for Graphs

图是一种重要的数据结构，用于表示现实场景中的关系。先前的研究已经证实，图神经网络（GNNs）在图中心任务（如链接预测和节点分类）中具有令人印象深刻的成果。尽管取得了这些进展，但数据稀疏性和有限的泛化能力等挑战仍然存在。最近，大型语言模型（LLMs）在自然语言处理中受到关注。它们在语言理解和总结方面表现出色。将LLMs与图学习技术相结合作为提高图学习任务性能的一种方式引起了人们的兴趣。在本调查中，我们对最新的LLMs在图学习中应用进行了深入审查，并引入了一种新的分类法，根据它们的框架设计对现有方法进行分类。我们详细介绍了四种独特的设计：i）GNN作为前缀，ii）LLMs作为前缀，iii）LLMs-图形集成和iv）LLMs-Only，重点介绍了每个类别中的关键方法。我们探讨了每个框架的优点和局限性，并强调了未来研究的潜在途径，包括克服LLMs和图学习技术之间当前的整合挑战，并涉足新的应用领域。本次调查旨在成为研究人员和从业者利用大型语言模型进行图学习的有价值资源，并激励该领域的持续进展。我们持续维护相关的开源材料，网址为\url{https://github.com/HKUDS/Awesome-LLM4Graph-Papers}。

论文旨在探讨如何将大型语言模型应用于图学习中，以提高性能和泛化能力。同时，论文也试图解决当前存在的数据稀疏和泛化能力受限等问题。

论文提出了四种独特的框架设计，包括GNNs作为前缀、LLMs作为前缀、LLMs-Graphs集成和仅使用LLMs。这些框架设计的关键思路是将大型语言模型与图学习技术相结合，以提高性能和泛化能力。

论文详细介绍了每种框架设计的优点和局限性，并强调了未来研究的潜在方向，包括克服LLMs和图学习技术之间当前的集成挑战，以及探索新的应用领域。论文还提供了相关的开源材料，包括数据集和代码。

最近的相关研究包括《Graph Neural Networks: A Review of Methods and Applications》、《Large-Scale Learnable Graph Convolutional Networks》和《Semi-Supervised Classification with Graph Convolutional Networks》等。