GraphAny: A Foundation Model for Node Classification on Any Graph

基础模型能够在视觉和语言应用中进行推理，而无需特定的训练，这已经在机器学习中引起了革命。然而，涉及图结构数据的应用仍然是基础模型的难点，因为每个图都有其独特的特征和标签空间，这是挑战所在。传统的图机器学习模型，例如在图上训练的图神经网络（GNNs），不能对具有不同特征和标签空间的新图进行推理。此外，现有模型学习特定于训练图的函数，并且无法推广到新图。在这项工作中，我们使用一种名为GraphAny的新基础架构来解决这两个挑战，以进行归纳节点分类。GraphAny将对新图的推理建模为LinearGNN的解析解，从而解决了第一个挑战。为了解决第二个挑战，我们为每个节点学习注意力分数，以融合多个LinearGNN的预测。具体而言，注意力模块被仔细地参数化为多个LinearGNN预测之间的熵归一化距离特征的函数，以确保推广到新图。在经验上，仅使用120个标记节点对威斯康星州数据集进行训练的GraphAny可以有效地归纳地推广到30个新图，平均准确率为67.26％，超过了在监督模式下训练的GCN和GAT以及其他归纳基线。

论文试图解决在图结构数据上进行机器学习的问题，特别是针对特定训练特征和标签空间的图无法推断的问题。同时，该论文也试图解决现有模型无法推广到新图的问题。

论文提出了一个名为GraphAny的新架构，可以将在新图上进行推断的问题转化为LinearGNN的解析解，并使用注意力机制融合多个LinearGNN的预测结果，从而实现对新图的推断。该方法的关键在于使用了基于节点熵归一化距离特征的注意力机制，从而确保了对新图的泛化能力。

论文使用Wisconsin数据集进行了实验，仅使用120个标记节点就可以在归纳的情况下对30个新图进行有效的泛化，平均精度达到了67.26％，超过了在监督模式下训练的GCN和GAT以及其他归纳基线。该论文的代码已经开源。

在图神经网络领域，有许多相关的研究，例如GraphSAGE、GAT、GCN和GIN等。