Federated Distillation: A Survey

Federated Learning（FL）旨在在不共享个体客户端的私有训练数据的情况下协作训练模型。尽管FL很有前途，但它面临着挑战，例如大规模模型的高通信成本以及所有客户端和服务器之间需要统一的模型架构。这些挑战严重限制了FL的实际应用。为了解决这些限制，将知识蒸馏（KD）整合到FL中，形成所谓的联邦蒸馏（FD）。FD使客户端和服务器之间的知识传递更加灵活，超越了仅仅共享模型参数的范畴。通过消除客户端和服务器之间需要相同模型架构的需求，FD缓解了训练大规模模型所涉及的通信成本。本文旨在全面概述FD，突出其最新进展。它深入探讨了FD框架设计的基本原则，勾勒了FD应对各种挑战的方法，并提供了有关FD在不同场景下的多样化应用的见解。

论文探讨如何在Federated Learning中引入Knowledge Distillation来解决高通信成本和模型架构限制等问题。

Federated Distillation（FD）结合了Federated Learning（FL）和Knowledge Distillation（KD）的优点，使得模型训练更加灵活，可以在不同客户端和服务器之间进行知识转移，从而解决了模型架构限制和高通信成本的问题。

论文详细介绍了FD的设计原则、应对各种挑战的方法和不同应用场景。实验使用了不同的数据集和开源代码来验证FD的有效性。论文还提供了未来研究的方向。

相关研究包括：'Communication-Efficient Learning of Deep Networks from Decentralized Data'，'Federated Learning with Non-IID Data'，'Federated Learning: Strategies for Improving Communication Efficiency'等。