Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models

最近对文本属性图（TAGs）的研究已经显著提高了节点特征的质量，通过利用语言模型的文本建模能力。尽管如此，利用文本属性来增强预定义的图结构仍然很少被探索。我们的广泛分析揭示了TAGs上的传统边缘，在先前的文献中被视为单一关系（例如超链接），实际上涵盖了混合语义（例如，“建议”和“参与”）。这种简化阻碍了图神经网络（GNNs）在下游任务上的表示学习过程，即使与先进的节点特征集成在一起。相反，我们发现将这些边缘分解为不同的语义关系显著提高了GNNs的性能。尽管如此，手动识别和标记边缘到相应的语义关系是耗时的，通常需要领域专业知识。为此，我们引入了RoSE（面向关系的语义边缘分解），这是一种利用大型语言模型（LLMs）能力的新型框架，通过分析原始文本属性以完全自动化的方式分解图结构。RoSE分为两个阶段：（1）使用基于LLM的生成器和鉴别器识别有意义的关系，（2）通过分析与连接节点相关的文本内容，使用基于LLM的分解器将每个边缘分类到相应的关系中。广泛的实验表明，我们的模型无关框架显著提高了各种数据集上的节点分类性能，在威斯康星数据集上提高了高达16％。

本论文旨在解决传统TAG中边缘语义混杂的问题，提出了一种自动化的关系导向语义边缘分解框架RoSE，以提高图神经网络的性能。

RoSE框架利用大型语言模型对原始文本属性进行分析，将边缘分解为对应的语义关系，以提高图神经网络的性能。

论文的实验表明，RoSE框架显著提高了各种数据集上节点分类的性能，最高可达16%。该框架是模型无关的，具有广泛适用性。此外，论文还提供了开源代码。

在近期相关研究中，有一些关于TAG的研究，如《Text-Attributed Graph Embedding》和《Graph Convolutional Networks with Text Attentions》等。