NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification

最近，新兴的图形变换器在图形节点分类方面取得了重大进展。在大多数图形变换器中，一个关键步骤涉及将输入图形转换为令牌序列作为模型输入，使变换器能够有效地学习节点表示。然而，我们观察到现有方法仅通过单类型令牌生成表达节点的部分图形信息。因此，它们需要量身定制的策略来将额外的图形特征编码到变换器中，以确保节点表示学习的质量，限制了模型处理多样化图形的灵活性。为此，我们提出了一种新的图形变换器，称为NTFormer，以解决这个问题。NTFormer引入了一种新颖的令牌生成器Node2Par，它使用不同的令牌元素为每个节点构建各种令牌序列。这种灵活性允许Node2Par从不同的角度生成有价值的令牌序列，确保全面表达丰富的图形特征。得益于Node2Par的优点，NTFormer仅利用基于变换器的主干来学习节点表示，而无需进行图形特定的修改，消除了图形特定修改的需求。在包含同质和异质图形的各种基准数据集上进行的广泛实验表明，NTFormer在节点分类方面优于代表性图形变换器和图形神经网络。

论文旨在解决图神经网络中单一类型Token生成方法对节点表示学习的限制，提出一种新的图Transformer模型NTFormer，通过引入一种灵活的Token生成器Node2Par，从不同角度构建各种Token序列，以保证全面表达图的特征。

NTFormer模型通过Node2Par生成多元素Token序列，消除了针对特定图的修改需求，提高了模型的灵活性和泛化能力。

NTFormer模型在多个基准数据集上进行了广泛实验，证明了其在节点分类任务上的卓越性能。该模型的代码已经开源，可供进一步研究使用。

近期相关研究包括：《Graph Attention Networks》、《Semi-Supervised Classification with Graph Convolutional Networks》等。