Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs

TAG（Text-Attributed Graph）是一种重要的现实世界图形结构数据，每个节点都与原始文本相关联。对于TAG，传统的少样本节点分类方法直接在预处理的节点特征上进行训练，不考虑原始文本。性能高度依赖于特征预处理方法的选择。本文提出了P2TAG，这是一个专为TAG上的少样本节点分类而设计的框架，它具有图形预训练和提示功能。P2TAG首先对TAG上的语言模型（LM）和图神经网络（GNN）进行自监督损失的预训练。为了充分利用语言模型的能力，我们为我们的框架调整了掩码语言建模目标。预训练模型然后用于少样本节点分类，使用混合提示方法，同时考虑文本和图形信息。我们在六个现实世界的TAG上进行了实验，包括论文引用网络和产品共购买网络。实验结果表明，我们提出的框架在这些数据集上优于现有的图形少样本学习方法，改进了18.98％〜35.98％。

本论文旨在解决文本-属性图（TAG）上的少样本节点分类问题，传统的方法只考虑了经过预处理的节点特征，而没有考虑原始文本信息，这导致性能高度依赖于特征预处理方法的选择。

本文提出了P2TAG框架，通过图预训练和提示来进行TAG上的少样本节点分类。首先在TAG上进行语言模型（LM）和图神经网络（GNN）的自监督预训练，然后使用混合提示方法进行少样本节点分类，同时考虑文本和图信息。

本文在六个真实世界的TAG数据集上进行了实验，包括论文引用网络和产品共购买网络。实验结果表明，与现有的图少样本学习方法相比，我们提出的框架在这些数据集上具有+18.98％〜+35.98％的改进。

与本文相关的研究包括：few-shot learning、图神经网络和自监督学习。