这是一篇最新ICLR2022论文,Acceleration of Federated Learning with Alleviated Forgetting in Local Training,作者通过从一个灾难性遗忘的角度分析联邦学习性能不佳的原因,并进行改进提升收敛速度与精度。

论文链接:

https://arxiv.org/abs/2203.02645

代码:

https://github.com/Zoesgithub/FedReg

作者观察到,现有方法收敛速度缓慢是由于每个客户端局部训练阶段的灾难性遗忘问题造成的,这导致其他客户的先前训练数据的损失函数大幅增加。

因此作者提出了一种FedReg算法,通过对生成的伪数据的损失来调整局部训练的参数,并对全局模型学习到的先前训练数据的知识进行编码,从而大大提高收敛速度,同时可以更好的保护隐私。

FedReg方法

 

内容中包含的图片若涉及版权问题,请及时与我们联系删除