Federated Learning with Incomplete Sensing Modalities

许多移动感应应用程序利用移动设备和可穿戴设备中的运动和生理传感器等各种模态的数据。联邦学习（FL）由于其保护隐私的特性，特别适用于这些应用程序。然而，诸如有限的电池寿命、网络条件差和传感器故障等挑战可能会限制使用所有可用模态进行本地模型训练。此外，现有的多模态FL系统在模态源数量增加时也面临着可扩展性和效率方面的困难。为了解决这些问题，我们引入了FLISM框架，旨在实现具有不完整模态的多模态FL。FLISM利用模拟技术学习稳健的表示，可以处理缺失的模态，并在具有不同模态集的客户端之间传输模型知识。使用三个真实世界的数据集和模拟的评估结果表明，FLISM在模型性能和系统效率之间实现了有效的平衡。与现有的方法相比，它显示出F1分数平均提高了0.067，同时减少了通信（快2.69倍）和计算（效率提高2.28倍）开销，以解决不完整模态的问题。此外，在涉及更多模态的任务的模拟场景中，FLISM在通信效率方面实现了3.23x~85.10x的显著加速，计算效率方面实现了3.73x~32.29x的显著加速。

解决问题：论文旨在解决多模态联邦学习中存在的问题，如缺失模态、可扩展性和效率等问题。

关键思路：FLISM框架利用模拟技术学习鲁棒的表示，以处理缺失的模态，并在具有不同模态集的客户端之间传输模型知识，从而实现多模态FL。

其他亮点：FLISM在三个真实数据集和模拟中进行了评估，表明其在模型性能和系统效率之间实现了有效的平衡。与现有的处理缺失模态的方法相比，平均F1得分提高了0.067，同时减少了通信（2.69倍更快）和计算（2.28倍更高效）开销。此外，在涉及更多模态任务的模拟场景中，FLISM在通信效率上实现了3.23倍~85.10倍的加速，计算效率上实现了3.73倍~32.29倍的加速。

相关研究：近期的相关研究包括《A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection》、《Federated Learning for Healthcare Informatics》等。