TNNLS 2022| 数据去中心化的深度类增量学习

本文聚焦于一种新的、具有挑战性的数据去中心化增量学习范式（Decentralized Class Incremental Learning，DCIL），致力于利用时间上持续输入且分散存储在多个本地节点中的数据实现增量学习。首先，定义了去中心化的增量学习范式。其次，提出了去中心化增量学习的基线算法框架，可为传统的基于重放的集中式增量学习算法提供对应的DCIL范式算法。最后，提出专门针对DCIL的复合知识蒸馏的算法框架。具体地，该算法由三个组件组成：去中心化增量知识蒸馏、去中心化协作知识蒸馏以及去中心化聚合知识蒸馏。为全面研究该框架，本文对三个组件进行了不同的实现。大量的实验结果证明了所提框架的有效性。

深度学习模型在学习新任务时普遍会发生“灾难性遗忘”现象，即模型在新任务上训练时，在旧任务上的性能会显著下降。增量学习算法旨在避免连续学习新任务时的“灾难性遗忘”问题。传统的增量学习主要处理持续输入但中心化存储的数据。然而在实际应用中，越来越多的数据是在“孤岛”中产生的。受到各种规范化或隐私方面的约束或要求，并不总是允许在这些“孤岛”之间移动数据或者使用数据所有者之外的数据。因此，在数据去中心化的场景中进行增量学习，使得学习过程可以跨时间，跨数据节点执行，是至关重要的。然而，现有的机器学习范式都无法处理如此复杂的场景，因此面向数据去中心化场景的增量学习带来了巨大的挑战。

内容中包含的图片若涉及版权问题，请及时与我们联系删除