联邦学习如何处理异质性？港科大最新《异质联邦学习》综述，46页pdf全面阐述异质联邦学习的数据空间、统计、系统和模型异质性

联邦学习(Federal learning, FL)可以在不破坏隐私和安全的情况下，通过组织间的协作训练模型来保护数据隐私，并虚拟地组装孤立的数据筒仓。然而，FL面临着数据空间、统计、系统异构等多方面的异质性。例如，没有利益冲突的协作组织通常来自不同的领域，并具有来自不同特征空间的异构数据。由于非IID和不均衡的数据分布以及各种资源受限的设备，参与者也可能希望训练异构的个性化本地模型。因此，我们提出异构FL来解决FL中的异质性问题。在本次综述中，我们从数据空间、统计、系统和模型异质性方面全面研究了异构FL的领域。本文首先对FL进行了概述，包括它的定义和分类。然后，根据问题设置和学习目标，对每种异构类型的FL学习设置进行精确的分类。我们还研究了处理FL异质性的迁移学习方法。我们进一步介绍了异质FL的应用。最后，我们强调了挑战和机遇，并展望了未来有前途的研究方向，即新的框架设计和可靠的方法。

论文链接：https://arxiv.org/abs/2210.04505