GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models

本研究探讨了自监督图学习在文本属性图（TAGs）中的应用，其中节点由文本属性表示。与传统的图对比方法不同，传统方法会扰动数值特征空间并改变图的拓扑结构，我们旨在通过语言监督来改进视图生成。这是由于在真实应用中文本属性的普遍存在，这些属性为图结构提供了丰富的语义信息。然而，这也带来了挑战，因为有两个主要原因。首先，文本属性通常在长度和质量上有所变化，这使得在不改变其原始语义含义的情况下扰动原始文本描述变得困难。其次，虽然文本属性补充了图结构，但它们并不本质上对齐。为了弥合这一差距，我们引入了GAugLLM，这是一个新颖的TAGs增强框架。它利用类似Mistral这样的先进大型语言模型来增强自监督图学习。具体而言，我们引入了一种prompt-expert混合技术来生成增强的节点特征。这种方法将多个prompt expert自适应地映射到数值特征空间中，每个expert都使用prompt engineering修改原始文本属性。此外，我们设计了一种协作边修改器来利用结构和文本的共性，通过检查或建立节点之间的连接来增强边增强。跨越各种领域的五个基准数据集的实证结果强调了我们的框架作为插件工具增强领先对比方法的能力。值得注意的是，我们观察到增强的特征和图结构也可以增强标准生成方法以及流行的图神经网络的性能。我们的GAugLLM的开源实现可在Github上获得。

本文旨在提出一种针对文本属性图（TAGs）的自监督图学习方法，通过语言监督来改进视图生成，解决文本属性在真实应用中普遍存在的挑战。

本文提出了一种新的框架GAugLLM，利用大型语言模型来增强自监督图学习。该框架采用多个提示专家的混合技术来生成增强节点特征，并设计了一种协作边修改器来加强边的增强。

本文的实验结果表明，GAugLLM框架可以作为插件工具来提高领先的对比方法的性能。此外，增强的特征和图结构还可以增强标准生成方法以及流行的图神经网络的性能。该框架的开源实现可在Github上获得。

在这个领域中，最近的相关研究包括：Contrastive Multi-View Representation Learning on Graphs、Graph Contrastive Learning with Augmentations和GraphCL等。