Addressing Shortcomings in Fair Graph Learning Datasets: Towards a New Benchmark

公平图学习在许多实际应用中起着关键作用。最近，许多公平图学习方法已被提出，但它们的评估往往依赖于构造不良的半合成数据集或低质量的真实世界数据集。在这种情况下，即使是基本的多层感知器（MLP）也可以在效用和公平性方面优于图神经网络（GNNs）。在本文中，我们说明许多数据集未能提供有意义的边缘信息，这可能挑战在这些问题中使用图结构的必要性。为了解决这些问题，我们开发并引入了一系列合成、半合成和真实世界数据集，满足广泛的要求。这些数据集经过精心设计，包括对于模型公平评估至关重要的相关图结构和偏差信息。所提出的合成和半合成数据集提供了灵活性，以创建具有可控偏差参数的数据，从而轻松生成具有用户定义偏差值的所需数据集。此外，我们对这些提出的数据集进行系统评估，并建立了公平图学习模型的统一评估方法。我们在我们的数据集上使用公平图学习方法进行广泛的实验结果表明，这些方法在基准测试这些方法的性能方面非常有效。我们的数据集和重现实验的代码可在https://github.com/XweiQ/Benchmark-GraphFairness上获得。

本论文旨在解决公平图学习中数据集不足、评估方法不合理等问题，并提出一系列合成、半合成和真实数据集以及统一的评估方法。

论文的关键思路在于提出了一系列新的数据集，这些数据集包含了重要的图结构和偏差信息，可以用于公平图学习模型的评估和比较，并且可以根据需要生成具有可控偏差参数的数据集。

论文提出了一系列新的数据集，包括合成、半合成和真实数据集，这些数据集包含了图结构和偏差信息，可以用于公平图学习模型的评估和比较；论文还提出了统一的评估方法，并在这些数据集上进行了实验验证；论文代码和数据集已经开源。

最近在公平图学习领域中，还有一些相关的研究，例如：Fairwalk、FairGNN、FairGCN等。