Where is the Testbed for my Federated Learning Research?

超越集中式人工智能的发展非常重要，然而，分布式人工智能解决方案，特别是各种联合学习算法，往往没有得到全面评估，这阻碍了研究社区确定最有前途的方法，也使从业者无法确信某个解决方案已经可以部署。联合学习算法评估的最大障碍是难以在各种FL客户端设备和不同平台上进行真实世界的实验，使用不同的数据集和数据分布，同时评估算法性能的各个方面，例如推理准确性、能耗和收敛时间等。在本文中，我们介绍了CoLExT，一个FL研究的真实测试平台。CoLExT旨在简化在丰富的测试配置空间中使用自定义FL算法的实验，具有大量异构边缘设备，从单板计算机到智能手机，并通过自动仪器采集和可视化各种指标的实时数据。根据我们的评估，将FL算法移植到CoLExT需要开发人员的最小参与，而仪器的使用会引入最小的资源使用开销。此外，通过在CoLExT上运行流行的FL算法的初步调查，我们揭示了以前未知的权衡、低效和编程错误。

评估分布式机器学习算法的性能是一个困难的问题，缺乏综合评估方法。本文提出了一个名为CoLExT的实验平台，旨在帮助研究人员在真实环境中评估自定义的联邦学习算法。

CoLExT是一个用于联邦学习研究的实验平台，可以实现在大量异构边缘设备上进行实时数据收集和可视化，简化了自定义FL算法的实验流程，同时发现了以前未知的问题。

CoLExT可以在大量异构边缘设备上进行实时数据收集和可视化，简化了自定义FL算法的实验流程。实验结果发现了以前未知的问题和错误。本文提供了开源代码。

最近的相关研究包括：FATE、FedML、LEAF等联邦学习平台。