Towards Federated Learning with On-device Training and Communication in 8-bit Floating Point

最近的研究表明，相比于FP32/FP16训练，8位浮点数（FP8）可用于高效训练神经网络，并减少计算开销。在本研究中，我们探讨了在联邦学习中使用FP8训练的可能性。这不仅带来了FP8在边缘设备上进行训练所需的常规优势，而且由于重要的权重压缩，还可以减少客户端和服务器之间的通信成本。我们提出了一种新颖的方法，将FP8客户端训练与维护全局FP32服务器模型相结合，并提供了收敛性分析。在各种机器学习模型和数据集的实验中，与FP32基线相比，我们的方法始终至少可以在各种任务和模型中减少2.9倍的通信开销。

本文探讨了在联邦学习环境下使用8位浮点数（FP8）进行训练的可行性，以减少计算和通信开销。该论文试图解决在联邦学习中使用FP8训练的可行性和有效性问题。

本文提出了一种新的方法，通过将FP8客户端训练与全局FP32服务器模型相结合，实现了在联邦学习中使用FP8训练的有效性。该方法不仅可以在边缘设备上进行训练，而且还可以通过重要的权重压缩减少客户端和服务器之间的通信成本。

本文的亮点包括：提出了在联邦学习中使用FP8训练的有效性；提出了一种新的方法，可以在客户端使用FP8训练，同时保持全局FP32服务器模型；实验结果表明，该方法在各种任务和模型上都可以实现通信成本的至少2.9倍的减少。

最近在这个领域中，还有一些相关的研究。例如，一些研究探讨了在联邦学习中使用低精度浮点数的可行性和效果，如Bhagoji等人的“Practical Secure Aggregation for Privacy-Preserving Machine Learning”和Wang等人的“Federated Learning with Non-IID Data”。