图片

今天给大家介绍上海交通大学密西根学院朱怡飞教授团队发表在KDD 2022上的论文 “FedWalk: Communication Efficient Federated Unsupervised Node Embedding with Differential Privacy”。本文针对联邦学习中的节点级可视图的无监督节点嵌入方向首次提出了FedWalk 算法。其基于随机游走模型，可以生成与集中节点嵌入方法具有可比性的代表向量，同时保护图的边信息隐私，并节约大量通信资源。

 

节点嵌入旨在使用低维向量指代复杂图结构中的节点。实际生活中，图节点数量众多，以及人工标记节点十分困难，这推动着无监督节点嵌入的研究。然后，这些研究大多局限于集中式场景，亦即服务器存储完整的图数据。数据隐私近年来收获了广泛的关注，完整图数据结构不可获取，被分散于各个本地用户中。图中任一节点代表一位用户，该用户仅知道该节点及其邻居节点信息。本文首次提出可在节点级可视图上学习的FedWalk模型，一个基于随机游走(random walk)模型的无监督节点嵌入算法。FedWalk可提供与集中式节点嵌入算法具有可比性的代表向量，同时保护用户隐私并节约通信。FedWalk包含三个模块。第一个模块是hierarchical clustering tree (HCT)  constructor 用于提取每个节点的结构特征。其使用动态时间规整算法(Dynamic Warping Algorithm) 解决不同节点的结构异质性以此生成聚类树。第二个模块是random walk generator生成随机游走序列。其基于生成的聚类树，包含sequence encoder保护边隐私与two-hop neighbor predictor节约通信成本。生成的随机游走序列将会用于第三个模块，SkipGram model以更新图嵌入向量。实验证明，FedWalk在两个大规模图数据上可以生成与集中图嵌入算法具有可比性的向量，仅失去1.8% Micro-F1 分数与4.4% Marco-F1 分数，同时也可降低6.7倍多设备通信次数。

 

论文链接：https://arxiv.org/abs/2205.15896

内容中包含的图片若涉及版权问题，请及时与我们联系删除