FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning

最近，由于其支持异构模型和数据的能力，异构联邦学习（HtFL）受到了关注。为了减少HtFL中传输模型参数的高通信成本，这是一个主要的挑战，提出了基于原型的HtFL方法，仅在异构客户端之间共享类代表，即原型，同时保持客户端模型的隐私。然而，这些原型被天真地聚合成全局原型，使用加权平均在服务器上，导致次优的全局知识，从而对客户端的性能产生负面影响。为了克服这个挑战，我们引入了一种新的HtFL方法，称为FedTGP，它利用我们的自适应边缘增强对比学习（ACL）在服务器上学习可训练的全局原型（TGP）。通过结合ACL，我们的方法增强了原型的可分离性，同时保留了语义含义。使用12个异构模型进行的广泛实验表明，我们的FedTGP在准确性方面超过了最先进的方法，最高可达9.08％，同时保持基于原型的HtFL的通信和隐私优势。我们的代码可在https://github.com/TsingZ0/FedTGP上获得。

本论文旨在解决异构联邦学习中全局原型聚合不佳的问题，提出一种新的方法 FedTGP，通过 Adaptive-margin-enhanced Contrastive Learning (ACL) 在服务器上学习可训练的全局原型（TGP），以提高原型的可分离性和语义保留性，从而提高异构联邦学习的性能。

论文的关键思路是通过 ACL 在服务器上学习可训练的全局原型（TGP），解决全局原型聚合不佳的问题。与当前领域的研究相比，该论文的思路具有新意。

论文通过实验验证了 FedTGP 方法的有效性，与现有方法相比，FedTGP 在准确性上提高了最高 9.08%，同时保持了原型聚合的通信和隐私优势。论文还提供了开源代码 https://github.com/TsingZ0/FedTGP。

与该论文相关的研究包括：Heterogeneous Federated Learning (HtFL)、prototype-based HtFL methods 等。