Masked Attention is All You Need for Graphs

图神经网络（GNNs）和消息传递算法的变体是学习图形的主要手段，这主要是由于它们的灵活性、速度和令人满意的性能。然而，设计强大且通用的GNNs需要大量的研究工作，并且通常依赖于手工制作的、精心选择的消息传递运算符。出于这个原因，我们提出了一种非常简单的替代方法来学习图形，它完全依赖于注意力。图形被表示为节点或边集，并通过掩蔽注意力权重矩阵来强制它们的连通性，有效地为每个图形创建自定义注意力模式。尽管它很简单，但是掩蔽注意力图（MAG）在长距离任务上具有最先进的性能，并且在超过55个节点和图级任务上优于强大的消息传递基线和更复杂的基于注意力的方法。我们还展示了与GNNs相比具有显着更好的迁移学习能力，时间和内存缩放相当或更好。MAG在节点或边的数量上具有次线性的内存缩放，使得可以在密集图上进行学习，并为这种方法未来的发展提供了保障。

论文旨在解决在图上学习的问题，提出了一种基于注意力机制的简单方法，用于学习图结构。

论文提出的方法是使用掩码注意力来学习图结构，使用节点或边集来表示图，并通过掩蔽注意力权重矩阵来实现图的连通性。

论文的方法在长距离任务上表现出色，并在超过55个节点和图级任务上优于强大的消息传递基线和更复杂的基于注意力的方法。论文还展示了与GNN相比更好的迁移学习能力以及可比或更好的时间和内存扩展性。

在这个领域中，最近的相关研究包括《Semi-Supervised Classification with Graph Convolutional Networks》、《Graph Attention Networks》等。