Online GNN Evaluation Under Test-time Graph Distribution Shifts

在真实世界的图上评估训练良好的GNN模型的性能是可靠的GNN在线部署和服务的关键步骤。由于缺乏测试节点标签和未知的潜在训练-测试图数据分布转移，传统的模型评估在计算性能指标（例如测试误差）和测量图数据级别的差异方面遇到了限制，特别是当用于开发GNN的训练图在测试时仍未被观察到时。本文研究了一个新的研究问题，即在线GNN评估，旨在为训练良好的GNN模型在测试时间图分布转移下有效地推广到真实世界未标记图的能力提供有价值的见解。具体而言，我们开发了一种有效的学习行为差异得分，称为LeBeD，来估计训练良好的GNN模型的测试时间泛化误差。通过一种新颖的GNN重新训练策略和一个无参数最优性准则，所提出的LeBeD全面地集成了来自节点预测和结构重建两个方面的学习行为差异。这使得训练良好的GNN模型能够有效地捕捉测试节点语义和结构表示，使其成为在线GNN评估中估计泛化误差的表达性指标。在各种图分布转移下的真实世界测试图上进行的大量实验可以验证所提出方法的有效性，揭示其与各种训练良好的GNN模型的基准测试误差之间的强相关性。

本文研究在线GNN评估问题，旨在有效评估经过训练的GNN模型在测试时对真实世界未标记图的泛化能力。

本文提出了一种名为LeBeD的有效学习行为差异度量方法，通过新颖的GNN重新训练策略和无参数最优性准则，综合了来自节点预测和结构重建两个方面的学习行为差异，从而实现了对经过训练的GNN模型捕捉测试节点语义和结构表示能力的有效评估。

本文的实验结果表明，LeBeD方法在各种图分布偏移下能够有效评估经过训练的GNN模型的泛化能力，并与各种经过训练的GNN模型的实际测试误差具有很强的相关性。此外，本文还使用了多个真实世界数据集进行实验，并开源了代码。

在这个领域中，最近的相关研究包括：《Benchmarking GNNs Beyond Homophily》、《Understanding Attention and Generalization in Graph Neural Networks》等。