FedMef: Towards Memory-efficient Federated Dynamic Pruning

Federated learning（FL）提倡去中心化训练，同时优先考虑数据保密性。然而，在资源受限的设备上应用FL是具有挑战性的，因为训练深度学习模型需要大量的计算和内存资源。神经网络剪枝技术（如动态剪枝）可以增强模型效率，但在FL中直接采用仍然存在重大挑战，包括剪枝后性能下降、高激活内存使用等。为了解决这些挑战，我们提出了FedMef，一种新颖的、内存高效的联邦动态剪枝框架。FedMef包括两个关键组件。首先，我们引入了预算感知的挤压，通过在给定预算内从标记为剪枝的参数中抢救关键信息，来保持剪枝效率的同时保留剪枝后的性能。其次，我们提出了缩放激活剪枝，以有效地减少激活内存占用，这对于部署FL到内存受限设备上尤为有益。广泛的实验表明了我们提出的FedMef的有效性。特别是，与最先进的方法相比，它实现了28.5%的内存占用量显著降低，同时获得了更优越的准确性。

解决在资源受限的设备上使用联邦学习进行深度神经网络训练时所面临的计算和内存资源需求高、数据隐私保护困难等问题。

提出了一种新的联邦动态剪枝框架FedMef，其中包括预算感知的剪枝和缩放激活剪枝两个关键组成部分，用于提高模型效率和降低激活内存占用。

实验结果表明，与现有的方法相比，FedMef在内存占用方面能够显著减少28.5%，同时获得更高的准确性。该论文的亮点还包括使用的数据集、开源代码等。

最近的相关研究包括《Federated Learning with Matched Averaging》、《Communication-Efficient Learning of Deep Networks from Decentralized Data》等。