Learning a Mini-batch Graph Transformer via Two-stage Interaction Augmentation

Mini-batch Graph Transformer（MGT）作为一种新兴的图学习模型，在半监督节点预测任务中表现出了显著的优势，具有改进的计算效率和增强的模型鲁棒性。然而，现有的处理局部信息的方法要么依赖于采样，要么采用简单的聚合，分别导致关键邻居信息的丢失和压缩。此外，每个小批量中节点数量的限制限制了模型捕捉图的全局特征的能力。本文提出了一种新颖的MGT模型LGMformer，采用了两阶段增强交互策略，从局部到全局的视角转换，以解决上述瓶颈。局部交互增强（LIA）采用邻居-目标交互Transformer（NTIformer）提供了一个深入理解邻居与目标节点之间相互作用模式的有效本地令牌列表，作为MGT的输入。相比之下，全局交互增强（GIA）采用交叉注意机制将整个图原型纳入目标节点表示中，从而补偿全局图信息，确保更全面的感知。因此，LGMformer在MGT范式下实现了节点表示的增强。在十个基准数据集上进行的节点分类实验结果表明了所提出方法的有效性。我们的代码可在https://github.com/l-wd/LGMformer上获得。

本文试图解决的问题是Mini-batch Graph Transformer（MGT）模型中，处理局部信息时可能会丢失关键邻居信息，且每个小批量节点数量有限制，限制了模型捕捉全局特征的能力。同时，该论文还试图验证提出的LGMformer模型在节点分类任务中的有效性。

该论文提出了一种新的MGT模型LGMformer，采用两阶段增强交互策略，从局部到全局的角度，解决了局部信息丢失和全局特征捕捉能力不足的问题。其中，局部交互增强（LIA）采用邻居-目标交互Transformer（NTIformer）来获取邻居和目标节点的交互模式，生成局部有效的令牌列表；而全局交互增强（GIA）则采用交叉注意力机制，将整个图的原型融入到目标节点表示中，以补偿全局图信息，确保更全面的感知。

该论文的亮点包括采用了新颖的增强交互策略，提出了局部交互增强和全局交互增强，解决了Mini-batch Graph Transformer模型中的局部信息丢失和全局特征捕捉能力不足的问题。实验结果表明，LGMformer在节点分类任务中取得了显著的性能提升。此外，该论文提供了开源代码。

近期在这个领域中，还有一些相关的研究，如《Graph Transformer Networks》、《Semi-Supervised Classification with Graph Convolutional Networks》等。