KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning

垂直联邦学习（Vertical Federated Learning，简称VFL）是联邦学习的一种类型，其中模型在具有垂直分割数据的各方之间进行协作训练。通常，在VFL场景中，除了聚合服务器（即标签所有者）外，所有参与方都会保留样本的标签。然而，最近的研究发现，通过利用服务器返回的梯度信息到底层模型，仅凭非常有限的一小部分训练数据点上的辅助标签的知识，攻击者就可以推断出私有标签。这些攻击在VFL中被称为标签推断攻击。在我们的工作中，我们提出了一种新颖的框架称为KDk，它结合了知识蒸馏和k-匿名性，以提供对VFL场景中潜在标签推断攻击的防御机制。通过详尽的实验活动，我们证明通过应用我们的方法，分析的标签推断攻击的性能显著降低，甚至降低了60%以上，同时保持整个VFL的准确性几乎不变。

本论文旨在解决垂直联邦学习中的标签推断攻击问题，提出了一种结合知识蒸馏和k-匿名的新框架KDk。

该框架通过在联邦学习中应用知识蒸馏和k-匿名技术，有效地提高了标签隐私保护能力。

论文通过实验验证了KDk框架的有效性，发现在保持整个联邦学习准确率不变的情况下，标签推断攻击的性能可以下降60%以上。此外，论文还提供了开源代码以及值得进一步研究的方向。

近期在联邦学习中，还有一些相关的研究，例如《Federated Learning with Differential Privacy: Strategies for Improving Robustness》、《Privacy-Preserving Federated Brain Tumour Segmentation》等。