Federated Learning with a Single Shared Image

Federated Learning（FL）使多个机器可以协同训练机器学习模型，而不共享私有训练数据。然而，特别是对于异构模型，一个关键瓶颈仍然存在于来自每个客户端模型的知识传递到服务器上。一种流行的方法FedDF使用蒸馏来解决这个问题，使用一个共同的、共享的数据集来交换预测结果。然而，在许多情况下，由于隐私问题，这样的数据集可能很难获取，而且客户端可能不允许存储大型共享数据集。因此，在本文中，我们介绍了一种新的方法，改进了这种知识蒸馏方法，只依赖于客户端和服务器之间的单个共享图像。我们提出了一种新颖的自适应数据集修剪算法，选择从单个图像生成的最具信息量的裁剪图像。通过这种方法，我们展示了在有限的共享数据集预算下，使用单个图像比使用多个单独的图像更好地进行蒸馏的联邦学习。最后，我们通过在服务器端加入非均匀蒸馏计划和客户端模型镜像来扩展我们的方法，以允许训练异构客户端架构。

如何在Federated Learning中解决异构模型之间的知识共享问题？

提出一种新的自适应数据集修剪算法，通过选择单个图像生成的最具信息量的裁剪来改进知识蒸馏方法，从而减少了共享数据集的需求。

论文在MNIST和CIFAR-10数据集上进行了实验，证明了新方法的有效性。同时，还扩展了方法以允许训练异构客户端架构，并在服务器端引入了非均匀蒸馏计划和客户端模型镜像。

在本领域的相关研究包括：《Federated Learning with Non-IID Data》、《Communication-Efficient Learning of Deep Networks from Decentralized Data》等。