FedTAD: Topology-aware Data-free Knowledge Distillation for Subgraph Federated Learning

Subgraph federated learning（子图联邦学习）是一种新的分布式范式，通过多客户端子图促进图神经网络（GNN）的协作训练。不幸的是，子图联邦学习的一个重大挑战来自于子图异构性，它源于节点和拓扑的变化，导致全局GNN的性能受损。尽管有各种研究，但他们尚未彻底研究子图异构性的影响机制。为此，我们解耦了节点和拓扑的变化，揭示它们对应于标签分布和结构同质性的差异。值得注意的是，这些变化导致多个本地GNN的类别知识可靠性存在显著差异，以不同程度误导了模型聚合。基于这一观察，我们提出了基于拓扑感知的无数据知识蒸馏技术（FedTAD），增强了从本地模型到全局模型的可靠知识传递。在六个公共数据集上的大量实验一致表明，FedTAD优于最先进的基线模型。

解决问题：论文试图解决subgraph-FL中的subgraph异质性对全局GNN性能的影响机制，并提出一种新的知识蒸馏技术来增强可靠的知识传递。

关键思路：论文通过解耦节点和拓扑变化，揭示了它们对应于标签分布和结构同质性的差异，从而导致多个本地GNN的类别知识可靠性存在显著差异，进而影响模型聚合。在此基础上，提出了一种拓扑感知的数据无关知识蒸馏技术（FedTAD）来增强可靠的知识传递。

其他亮点：论文在六个公共数据集上进行了广泛的实验，一致表明FedTAD优于当前最先进的基线方法。此外，论文提供了开源的代码和值得深入研究的工作方向。

相关研究：在这个领域中，最近的相关研究包括《Federated Learning on Graph Neural Networks: A Survey》、《Federated Learning with Graph Neural Networks: A Meta-Learning Approach》等。