MH-pFLID: Model Heterogeneous personalized Federated Learning via Injection and Distillation for Medical Data Analysis

联邦学习被广泛应用于医疗领域，用于训练全局模型而无需访问本地数据。但是，客户端之间的计算能力和网络架构（系统异构性）的差异会导致从非独立和同分布（非IID）数据中有效地聚合信息面临重大挑战。目前，使用知识蒸馏的联邦学习方法需要公共数据集，这引发了隐私和数据收集问题。此外，这些数据集需要额外的本地计算和存储资源，这对于硬件条件有限的医疗机构来说是一种负担。在本文中，我们介绍了一种新的联邦学习范式，名为Model Heterogeneous personalized Federated Learning via Injection and Distillation（MH-pFLID）。我们的框架利用了一个轻量级的信使模型，该模型携带浓缩信息以收集来自每个客户端的信息。我们还开发了一组接收器和发射器模块，以从信使模型接收和发送信息，以便信息可以高效地注入和蒸馏。

解决非独立同分布数据下的医疗应用中的联邦学习问题，避免使用公共数据集带来的隐私和数据收集问题，并减少对硬件资源的需求。

提出了一种新的联邦学习范式，名为MH-pFLID，利用轻量级的信使模型收集每个客户端的信息，并开发了一组接收器和发射器模块，以实现信息的注入和蒸馏。

论文提出的方法避免了使用公共数据集，减少了对硬件资源的需求，同时在非独立同分布数据下实现了联邦学习。实验使用了医疗数据集，证明了该方法的有效性和优越性。

最近的相关研究包括《Federated Learning with Non-IID Data: A Semi-Supervised Approach》和《Privacy-Preserving Federated Learning with Byzantine-Robust Aggregation》等。