Federated Representation Learning in the Under-Parameterized Regime

Federated representation learning（FRL）是一种流行的个性化联邦学习（FL）框架，其中客户端一起训练共同的表示并保留其个性化的头部。然而，现有的研究主要集中在过度参数化的情况下。在本文中，我们首次尝试研究欠参数化情况下的FRL，其中FL模型不足以表达所有真实模型中的变化。我们提出了一种新颖的FRL算法FLUTE，并在欠参数化情况下理论上表征其线性模型的样本复杂度和收敛速率。据我们所知，这是第一个在此情况下具有可证明性能保证的FRL算法。FLUTE具有数据独立的随机初始化和精心设计的目标函数，有助于从不匹配的局部表示中提取全局最优表示所张成的子空间。在技术方面，我们将低秩矩阵逼近技术与FL分析联系起来，这可能具有广泛的兴趣。我们还将FLUTE扩展到线性表示以外。实验结果表明，FLUTE在合成和真实世界任务中均优于最先进的FRL解决方案。

本文旨在研究在欠参数化情况下的个性化联邦学习问题。现有研究大多集中在过度参数化的情况下，而本文则是首次在欠参数化情况下提出了具有可证明性能保证的个性化联邦学习算法。

本文提出了一种名为FLUTE的个性化联邦学习算法，通过数据无关的随机初始化和精心设计的目标函数，帮助从错位的本地表示中提取全局最优表示所跨越的子空间。同时，本文将低秩矩阵逼近技术与联邦学习分析相结合，为欠参数化情况下的线性模型理论上的样本复杂度和收敛速率进行了刻画。

本文的亮点包括：提出了首个具有可证明性能保证的个性化联邦学习算法FLUTE；通过低秩矩阵逼近技术与联邦学习分析相结合，为欠参数化情况下的线性模型理论上的样本复杂度和收敛速率进行了刻画；在合成和真实世界任务中，FLUTE表现优于现有的个性化联邦学习解决方案。

最近在这个领域中，还有一些相关的研究，例如：《Personalized Federated Learning with Theoretical Guarantees》、《Federated Learning with Personalized Model for Parkinson's Disease Diagnosis》等。