Federated Unsupervised Domain Generalization using Global and Local Alignment of Gradients

我们首次在无监督设置下解决联邦领域泛化问题。我们首先在理论上建立了领域偏移和无监督联邦学习中梯度对齐之间的联系，并表明在客户端和服务器级别上对齐梯度可以促进模型对新（目标）领域的泛化。基于这一观察，我们提出了一种名为FedGaLA的新方法，该方法在客户端级别上执行梯度对齐，以鼓励客户端学习领域不变特征，并在服务器上进行全局梯度对齐，以获得更广泛的聚合模型。为了在实验上评估我们的方法，我们在四个常用的多领域数据集PACS、OfficeHome、DomainNet和TerraInc上进行了各种实验。结果表明了我们方法的有效性，优于可比较的基线。消融和敏感性研究证明了我们方法中不同组件和参数的影响。源代码将在出版后在线上提供。

解决问题：本文旨在首次在无监督设置下解决联邦域泛化问题。作者试图通过梯度对齐来促进模型对新领域的泛化能力。

关键思路：本文提出了一种名为FedGaLA的新方法，通过在客户端和服务器级别进行梯度对齐来鼓励客户端学习域不变特征，并获得更广义的聚合模型。

亮点：本文在四个常用的多领域数据集上进行了实验，结果表明FedGaLA方法的有效性，并进行了消融和敏感性研究。该论文的代码将在发布后在线上提供。

相关研究：目前在联邦学习领域中，已有一些关于领域泛化的研究。例如：Federated Learning with Matched Averaging、Federated Transfer Learning等。