Graph Transformers: A Survey

图形转换器是机器学习中的一项新进展，为图形结构化数据提供了一类新的神经网络模型。转换器和图形学习之间的协同作用表现出在各种与图形相关的任务中的强大性能和多功能性。本文综述了图形转换器研究中最近的进展和挑战。我们从图形和转换器的基本概念开始，然后探讨图形转换器的设计视角，重点关注它们如何将图形归纳偏差和图形注意机制集成到转换器架构中。此外，我们提出了一种基于深度、可扩展性和预训练策略分类的图形转换器分类法，总结了开发有效的图形转换器模型的关键原则。除了技术分析，我们还讨论了图形转换器模型在节点级、边缘级和图级任务中的应用，并探讨了它们在其他应用场景中的潜力。最后，我们确定了该领域的剩余挑战，如可扩展性和效率、泛化和鲁棒性、可解释性和可解释性、动态和复杂图形以及数据质量和多样性，为图形转换器研究的未来方向绘制了蓝图。

图变换器是机器学习中的一个新兴领域，本文试图探索如何将transformers应用到图结构数据中，以解决图相关任务。

本文提出了一种将图归纳偏见和图注意机制集成到transformer架构中的方法，探讨了图变换器的设计和分类，并研究了它们在节点级、边级和图级任务中的应用。

本文提出了一种分类图变换器的方法，分别基于深度、可扩展性和预训练策略。实验结果表明，图变换器在多个图相关任务中表现出色，包括节点分类、边预测和图分类。此外，本文还探讨了图变换器的应用前景和未来挑战，如可扩展性和效率、泛化和鲁棒性、可解释性和解释性、动态和复杂图形以及数据质量和多样性。

最近的相关研究包括《Semi-Supervised Classification with Graph Convolutional Networks》、《Graph Attention Networks》、《Gated Graph Sequence Neural Networks》等。