Characterizing and Understanding HGNN Training on GPUs

由于异构图神经网络（HGNNs）对异构图数据具有卓越的表示能力，因此在诸如推荐系统和医学分析等许多关键领域中被广泛采用。在实际应用之前，通过广泛的训练来确定特定任务的最佳HGNN模型参数是一项耗时且昂贵的过程。为了提高HGNN训练的效率，必须对训练过程中的执行语义和模式进行表征和分析，以确定性能瓶颈。在本研究中，我们对两种主流的HGNN训练场景进行了深入的量化和分析，包括单GPU和多GPU分布式训练。基于表征结果，我们揭示了不同HGNN训练场景中的性能瓶颈及其潜在原因，并从软件和硬件两个方面提供优化指南。

本文旨在提高Heterogeneous Graph Neural Networks（HGNNs）的训练效率，通过对单GPU和多GPU分布式训练的深入量化和分析，揭示不同HGNN训练场景下的性能瓶颈及其根本原因，并从软件和硬件角度提供优化指南。

本文通过对不同HGNN训练场景的量化和分析，揭示了性能瓶颈及其原因，并提供了优化指南。同时，本文提供了一种基于分层采样的新型采样方法，以加速HGNN训练。

本文提供了一种新型采样方法，以加速HGNN训练；通过量化和分析，揭示了性能瓶颈及其原因，提供了优化指南；实验使用了多个数据集，包括Amazon商品、MovieLens和PubMed等；本文提供了开源代码。

最近相关研究包括《Heterogeneous Graph Neural Network》、《Heterogeneous Graph Attention Network》、《Heterogeneous Information Network Embedding》等。