Towards A Universal Graph Structural Encoder

近期在大规模预训练方面的进展展示了学习可用于下游任务的通用表示的潜力。然而，在图领域中，跨不同图域捕获和迁移结构信息仍然具有挑战性，这主要是由于各种上下文中的拓扑模式存在固有的差异。此外，大多数现有模型难以捕捉丰富图结构的复杂性，导致嵌入空间的探索不足。为了解决这些挑战，我们提出了 GFSE，这是一种通用的图结构编码器，旨在跨多种领域（如分子图、社交网络和引文网络）捕获可迁移的结构模式。GFSE 是第一个使用多个自监督学习目标进行预训练的跨域图结构编码器。基于图变换器（Graph Transformer），GFSE 引入了由图归纳偏置指导的注意力机制，从而能够对复杂的多层级和细粒度的拓扑特征进行编码。预训练的 GFSE 生成了通用且理论上表达能力强的位置和结构编码，可以无缝集成到各种下游图特征编码器中，包括用于向量化特征的图神经网络以及用于文本属性图的大规模语言模型。在合成数据集和真实世界数据集上的全面实验表明，GFSE 能够显著提升模型性能，同时大幅减少特定任务的微调需求。值得注意的是，GFSE 在 81.6% 的评估案例中达到了最先进的性能，涵盖了多样化的图模型和数据集，凸显了其作为强大且多功能的图结构数据编码器的潜力。

论文试图解决在图结构数据中跨领域捕获和迁移拓扑信息的挑战，特别是不同图域（如分子图、社交网络和引用网络）之间存在的拓扑模式差异问题。这是一个尚未完全解决的问题，特别是在复杂图结构表示学习方面。

GFSE提出了一种基于Graph Transformer的通用图结构编码器，通过结合自监督学习目标和图归纳偏置的注意力机制，捕捉多层级和细粒度的拓扑特征。相比现有方法，GFSE能够更好地泛化到不同图域，并生成可转移的结构表示，适用于多种下游任务。

论文通过大量实验验证了GFSE的有效性，在81.6%的测试场景中达到了SOTA性能。此外，GFSE可以与GNN或LLM等不同类型的模型无缝集成，增强了其适用性。研究使用了合成和真实世界数据集，并证明了模型在减少任务特定微调需求方面的优势。代码是否开源未明确提及，但未来工作可能包括进一步探索跨模态图结构的学习。

相关研究包括：1) 图预训练模型如Graph-BERT和GraphSAGE；2) 自监督学习方法如GraphCL和Molecular Contrastive Learning；3) 多模态图学习研究如Text-Attributed Graph Learning。其他值得注意的工作包括《Graph Representation Learning via Hard and Soft Constraints》和《Unsupervised Learning of Graph Hierarchical Representations》。