Graph Neural Network Training Systems: A Performance Comparison of Full-Graph and Mini-Batch

最近几年，图神经网络（GNN）因其学习图结构数据表示的能力而受到了广泛关注。训练GNN的两种常见方法是小批量训练和全图训练。由于这两种方法需要不同的训练流程和系统优化，因此出现了两种不同类型的GNN训练系统，每种系统都针对一种方法进行了优化。介绍属于特定类别的系统的论文主要将其与同一类别内的其他系统进行比较，很少或根本不与另一类别的系统进行比较。一些先前的研究也通过认为它比另一种方法实现更高的准确性来证明其对一种特定训练方法的关注。然而，文献在这方面的证据不完整且矛盾。在本文中，我们对全图和小批量GNN训练系统进行了全面的实证比较，以获得该领域的最新情况。我们发现，在多个数据集、GNN模型和系统配置下，我们考虑的小批量训练系统比全图训练系统更快地收敛，速度提高了2.4倍到15.2倍。我们还发现，两种训练技术都收敛到类似的准确度值，因此以时间为准确度的比较方法是可靠的。

本论文旨在对全图和mini-batch训练系统进行全面的实证比较，以了解GNN训练的最新状态。研究比较它们的收敛速度和准确度，以及它们在多个数据集、GNN模型和系统配置下的表现。

论文比较了全图和mini-batch训练系统的收敛速度和准确度，并发现mini-batch训练系统在多个数据集、GNN模型和系统配置下均比全图训练系统快2.4倍至15.2倍。此外，两种训练技术收敛到类似的准确度值，因此可以通过时间-准确度比较两个类别的系统。

该论文设计了一系列实验来比较全图和mini-batch训练系统的性能，使用了多个数据集和GNN模型，并在GitHub上公开了代码。研究发现，mini-batch训练系统的性能优于全图训练系统，但两种方法的准确度相似。在未来的研究中，可以进一步探索如何在mini-batch训练中平衡收敛速度和准确度。

近期的相关研究主要集中在GNN的应用和改进上，如GNN的可解释性、GNN在药物发现中的应用等。其中一些相关论文包括《Deep Graph Library: A Graph-Centric, Highly-Performant Package for Graph Neural Networks》和《Graph Convolutional Networks: A Comprehensive Review》等。