HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters

“预训练、提示调优”范式在通过缓解预训练模型与下游任务之间的差距来微调预训练异构图神经网络（HGNN）方面展示了令人印象深刻的表现。然而，大多数基于提示调优的工作可能至少面临两个限制：（i）由于在提示调优阶段通常忽略了图结构，模型可能无法很好地适应图结构，导致训练误差增加，从而降低泛化能力；（ii）在提示调优阶段，模型可能因标注数据有限而受到影响，导致训练误差与测试误差之间的泛化差距较大，进一步影响模型的泛化性能。为了解决上述限制，我们首先推导了现有基于提示调优方法的泛化误差界，然后提出了一种统一框架，结合两个新的适配器和潜在的标注数据扩展，以提高预训练HGNN模型的泛化能力。具体来说，我们设计了双结构感知适配器，以自适应地适应与任务相关的同质和异质结构信息。我们进一步设计了标签传播对比损失和两种自监督损失，以优化双适配器并利用未标注节点作为潜在的标注数据。理论分析表明，所提出的方法比现有方法实现了更低的泛化误差界，从而获得了更优的泛化能力。广泛的实验验证了所提出方法在不同下游任务中的有效性和泛化性能。

该论文旨在解决现有基于提示调优的方法在调整预训练异构图神经网络（HGNNs）时面临的两个主要问题：一是模型可能无法很好地适应图结构，导致训练误差增加，从而降低泛化能力；二是由于标注数据有限，在提示调优阶段模型可能会面临较大的泛化差距，进一步影响模型的泛化性能。这是一个较为新颖的问题，尤其是在异构图神经网络的上下文中。

论文提出了一种统一框架，结合了两个新的适配器和潜在标注数据扩展技术，以改善预训练HGNN模型的泛化能力。具体来说，设计了双结构感知适配器，能够自适应地拟合任务相关的同质和异质结构信息。此外，还设计了标签传播对比损失和两种自监督损失，以优化双适配器并利用未标注节点作为潜在的标注数据。这种方法不仅考虑了图结构信息，还通过自监督学习充分利用了未标注数据，提高了模型的泛化能力。

1. 提出了理论分析，证明所提出方法的泛化误差界低于现有方法，从而获得更好的泛化能力。 2. 进行了全面的实验，验证了该方法在不同下游任务中的有效性和泛化能力。 3. 使用了多个基准数据集进行实验，并提供了开源代码，方便其他研究人员复现和进一步研究。 4. 强调了自监督学习和图结构信息的重要性，为未来的研究提供了方向。

1. "Graph Contrastive Learning with Augmentations" - 探索了图对比学习在增强数据上的应用。 2. "Self-Supervised Learning on Graphs: Deep Insights and New Direction" - 深入探讨了图上的自监督学习。 3. "Heterogeneous Graph Neural Networks for Malicious Account Detection" - 研究了异构图神经网络在恶意账户检测中的应用。 4. "Prompt Tuning for Pre-trained Language Models" - 讨论了提示调优在预训练语言模型中的应用。