Graph Machine Learning in the Era of Large Language Models (LLMs)

图形在各个领域中扮演着重要的角色，如社交网络、知识图谱和分子发现等领域，用于表示复杂的关系。随着深度学习的出现，图神经网络（GNN）已成为图机器学习（Graph ML）中的基石，有助于表示和处理图结构。最近，LLM在语言任务方面表现出了前所未有的能力，并广泛应用于计算机视觉和推荐系统等各种应用中。这一显著的成功也引起了人们对将LLM应用于图领域的兴趣。越来越多的努力被投入到探索LLM在推进图ML的泛化、可转移性和少样本学习能力方面的潜力。同时，图，特别是知识图谱，富含可靠的事实知识，可以用于增强LLM的推理能力，并潜在地缓解其幻觉和缺乏可解释性等限制。鉴于这一研究方向的快速进展，有必要对LLM时代的图ML的最新进展进行系统综述，以便为研究人员和从业者提供深入的理解。因此，在本调查中，我们首先回顾了图ML的最新发展。然后，我们探讨了如何利用LLM来提高图形特征的质量，减轻对标记数据的依赖性，并解决图形异质性和分布外（OOD）泛化等挑战。此后，我们深入探讨了图形如何增强LLM，突出了它们增强LLM预训练和推理的能力。此外，我们调查了各种应用，并讨论了这个有前途的领域的潜在未来方向。

本论文旨在探讨如何将语言模型（LLMs）应用于图机器学习（Graph ML）中，以提高其泛化能力、可迁移性和少样本学习能力。同时，还试图利用图中的可靠事实知识来增强LLMs的推理能力和解决其缺陷。

论文提出了将LLMs与图结构相结合的方法，包括利用LLMs提取图特征、减少对标注数据的依赖、解决图异构性和OOD泛化等挑战，以及利用图中的事实知识来增强LLMs的预训练和推理能力。

论文详细介绍了LLMs在图机器学习中的应用，包括基于GNNs的LLMs、图注意力机制、图生成模型等。同时，论文还探讨了LLMs在图机器学习中的应用场景，如社交网络、知识图谱和分子发现等。实验使用了多个数据集进行验证，并开源了代码。

近年来，LLMs在自然语言处理等领域中的应用获得了巨大成功，例如BERT、GPT等模型。在图机器学习领域，也有许多相关的研究，如基于图卷积网络（GCN）的模型、图注意力机制和图生成模型等。