LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling

最近，由于大型语言模型（LLMs）在语言理解和学习方面的出色能力，它们在图机器学习领域得到了广泛研究。然而，自然语言任务和拓扑结构建模之间的显著差距构成了一个不可忽视的挑战。具体而言，由于自然语言描述不足以让LLMs理解和处理图结构化数据，因此经过微调的LLMs在图任务上的表现甚至不如一些传统的GNN模型，缺乏对图结构的内在建模能力。现有研究过分强调LLMs对外部模型捕获的语义信息的理解，而对图拓扑结构建模的探索不足，从而忽视了LLMs缺乏的真正能力。因此，在本文中，我们介绍了一个新的框架LangTopo，它将图结构建模与自然语言理解在令牌级别上对齐。LangTopo通过构建图模态的码本并执行一致性最大化来量化GNNs和LLMs的图结构建模能力。这个过程将LLM的文本描述与GNN的拓扑建模对齐，使LLM学习GNN捕获图结构的能力，使LLM能够独立处理图结构化数据。我们在多个数据集上展示了我们提出的方法的有效性。

如何让大型语言模型（LLMs）处理图结构数据，从而在图机器学习领域中发挥出色的能力？

提出了一种新的框架，LangTopo，将自然语言理解与图形结构建模相结合，通过构建代码本为图形模态量化GNN和LLM的图形结构建模能力，并进行一致性最大化，从而使LLM能够独立地处理图形结构数据。

论文提出的LangTopo框架在多个数据集上得到了有效性证明。值得关注的是，该框架可以使LLM学习GNN的图形结构建模能力，从而使LLM在处理图形结构数据方面表现出色。此外，论文还介绍了代码和数据集的开放源代码。

最近的相关研究包括《Semi-Supervised Classification with Graph Convolutional Networks》、《Graph Attention Networks》等。