Instruction-based Hypergraph Pretraining

预训练已经被广泛探索，以增强图学习模型对于从大型数据集到下游任务（如链接预测或分类）的知识转移能力。然而，预训练目标之间的差距以及预训练和下游任务之间的数据分布差异阻碍了预训练知识的转移。受预训练语言模型中广泛使用的基于指令的提示的启发，我们将指令引入到图预训练中。在本文中，我们提出了一种新的预训练框架，名为基于指令的超图预训练。为了克服预训练和下游任务之间的差异，应用基于文本的指令提供明确的指导，以便于表示学习的特定任务。与可学习的提示相比，其有效性取决于训练数据的质量和多样性，基于文本的指令固有地包含任务信息，并支持模型在预训练期间看到的结构之外进行泛化。为了以上下文感知的方式捕获具有任务信息的高阶关系，设计了一种新的提示超图卷积层，将指令集成到超图中的信息传播中。在三个公共数据集上进行的大量实验验证了IHP在各种情况下的优越性。

本论文试图通过引入文本指令来解决图预训练和下游任务之间的差异问题，以提高图学习模型的迁移能力。

本文提出了一种新的预训练框架——基于指令的超图预训练（IHP），通过将文本指令应用于表示学习，提供对特定任务的明确指导，从而使模型能够在预训练期间学习到更具有迁移性的表示。

本文的亮点包括：1. 提出了一种使用文本指令来提高图学习模型迁移能力的新方法；2. 设计了一种新的提示超图卷积层，以在上下文感知的情况下将指令集成到信息传播中；3. 在三个公共数据集上进行了广泛的实验，证明了IHP在各种情况下的优越性。

在这个领域中的相关研究包括：1. GraphSAGE；2. GAT；3. Transformer-based models for graph learning等。