Large Language Models on Graphs: A Comprehensive Survey

大型语言模型（LLMs），例如ChatGPT和LLaMA，由于其强大的文本编码/解码能力和新发现的新兴能力（例如推理），正在为自然语言处理带来重大进展。虽然LLMs主要设计用于处理纯文本，但在许多实际场景中，文本数据与以图形形式呈现的丰富结构信息相关联（例如学术网络和电子商务网络），或者图形数据与丰富的文本信息配对（例如带有描述的分子）。此外，尽管LLMs已经展示了其基于纯文本的推理能力，但尚未探索这种能力是否可以推广到图形场景（即基于图形的推理）。在本文中，我们对大型语言模型在图形上的场景和技术进行了系统综述。我们首先将采用LLMs在图形上的潜在场景总结为三类，即纯图形、文本丰富的图形和文本配对的图形。然后，我们讨论了利用LLMs在图形上的详细技术，包括LLM作为预测器、LLM作为编码器和LLM作为对准器，并比较了不同模型学派的优缺点。此外，我们提到了这些方法的实际应用，并总结了开源代码和基准数据集。最后，我们总结了这个快速发展领域的潜在未来研究方向。相关资源可以在https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs上找到。

本论文旨在系统地回顾大型语言模型在图形上的应用场景和技术，探讨其在图形推理方面的潜力和限制。

论文将大型语言模型应用于图形的场景归纳为三类，并详细讨论了利用大型语言模型在图形上的技术，包括LLM作为预测器、LLM作为编码器和LLM作为对齐器，并比较了不同模型的优缺点。

论文提到了一些值得关注的亮点，如真实世界应用、开源代码和基准数据集。此外，论文还探讨了未来研究的潜在方向。

最近相关的研究包括《Transformers for Molecular Graphs》、《Graph-Bert: Only Attention is Needed for Learning Graph Representations》等。