FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs

图神经网络（GNNs）是处理图形类型数据的强大工具。最近，GNNs已经广泛应用于各个领域，但它们也面临一些问题，例如过度拟合、过度平滑和非鲁棒性。现有的研究表明，随机dropout方法是解决这些问题的有效方法。然而，在GNNs中使用随机dropout方法仍然存在未解决的问题。目前，随机dropout率的选择通常由启发式或网格搜索方法确定，这可能会增加泛化误差，与dropout的主要目的相矛盾。在本文中，我们提出了一种新颖的GNNs随机dropout方法，称为FlexiDrop。首先，我们使用Rademacher复杂性对GNNs中的dropout进行理论分析，并证明传统随机dropout方法的泛化误差受到与dropout率相关的函数的限制。随后，我们使用这个函数作为正则化器，将dropout率和经验损失统一到一个损失函数中，同时优化它们。因此，我们的方法能够自适应地调整dropout率，并在理论上平衡模型复杂度和泛化能力之间的权衡。此外，基准数据集上的广泛实验结果表明，FlexiDrop在GNNs中优于传统的随机dropout方法。

本文旨在解决图神经网络（GNNs）中存在的过拟合、平滑过度和非鲁棒性等问题，以及传统随机dropout方法中dropout率选择的问题。

本文提出了一种名为FlexiDrop的新型随机dropout方法，使用rademacher复杂度进行理论分析，将dropout率与经验损失统一到一个损失函数中进行优化，从而实现自适应调整dropout率，并在模型复杂性和泛化能力之间平衡权衡。

本文的实验结果表明，FlexiDrop在基准数据集上优于传统的随机dropout方法。该论文的代码已经开源，实验设计合理，值得深入研究。

近期的相关研究包括：《Understanding and Robustifying Differentiable Architecture Search》、《DropEdge: Towards Deep Graph Convolutional Networks on Node Classification》等。