Resource-Constrained Federated Continual Learning: What Does Matter?

联邦持续学习（FCL）旨在通过在边缘设备上保护先前知识的同时适应新数据，实现对不断流入且变化的数据进行顺序的、保护隐私的模型训练。目前的FCL文献主要集中在受限的数据隐私和访问以前见过的数据上，而没有对训练开销施加任何限制。这在现实世界的FCL应用场景中是不合理的，因为在这些场景中，边缘设备主要受到存储、计算预算和标签率等资源的限制。我们通过一个大规模基准重新审视了这一问题，并分析了最先进的FCL方法在不同资源受限设置下的性能。我们的实验涉及各种典型的FCL技术以及两个增量学习场景（类别增量学习Class-IL和领域增量学习Domain-IL）中的六个数据集。通过总计超过1000个GPU小时的大量实验，我们发现，在资源受限的情况下，现有的FCL方法无一例外未能达到预期的性能。我们的结论在敏感性分析中也是一致的。这表明大多数现有的FCL方法过于依赖资源，难以在现实中部署。此外，我们研究了典型FCL技术在资源受限条件下的性能，并为未来的FCL研究方向提供了启示。

该论文旨在解决在资源受限环境下，边缘设备上进行联邦持续学习（FCL）时现有方法无法有效适应新数据并保持先前知识的问题。这与实际应用场景中的资源限制（如存储、计算能力和标签率）不符，因此提出了一个需要重新评估现有FCL方法在真实世界部署中表现的问题。

论文的关键思路是在资源受限条件下评估现有FCL方法的有效性，并通过大规模基准测试来分析这些方法的表现。与以往研究不同，它不仅关注数据隐私和访问问题，还特别强调了资源约束对模型性能的影响，揭示了现有方法在实际应用中的局限性。

实验设计包括六个数据集，在两类增量学习场景（Class-IL和Domain-IL）下进行了超过1000个GPU小时的测试。结果表明所有现有FCL方法在资源受限情况下均未能达到预期效果。此外，作者还探讨了典型FCL技术在资源约束下的性能，并指出了未来的研究方向。值得注意的是，这项工作强调了资源依赖性对于FCL方法的重要性，为后续研究提供了宝贵见解。

最近的相关研究包括： 1. "Continual Learning in Federated Environments: A Comprehensive Survey" - 综述了FCL领域的现状和技术挑战。 2. "Efficient Federated Continual Learning with Resource Constraints" - 探讨了如何在有限资源下优化FCL过程。 3. "A Unified Framework for Federated Continual Learning" - 提出了一个统一框架来处理不同类型的FCL任务。 4. "Resource-Aware Algorithms for Federated Learning" - 研究了针对资源受限环境设计的算法。 5. "Privacy-Preserving Federated Continual Learning" - 聚焦于保护用户隐私的同时实现有效的FCL。