Continual Collaborative Distillation for Recommender System

知识蒸馏（KD）已经成为解决大规模推荐系统部署中的计算挑战的一种有前途的技术。KD将大型教师系统的知识转移给紧凑的学生模型，以减少推理的巨大计算负担，同时保持高精度。现有的KD研究主要关注静态环境下的一次性蒸馏，这在处理不断涌入的用户、物品及其交互的实际场景中存在重大差距。在这项工作中，我们深入探讨了在非静态数据流中操作教师-学生KD的系统方法。我们的目标是通过紧凑的学生实现高性能的大型教师的高效部署，同时有效地适应不断涌入的数据。我们提出了连续协作蒸馏（CCD）框架，其中教师和学生都会随着数据流的不断进展而不断地协同演化。CCD有助于学生有效地适应新数据，同时也使教师能够充分利用累积的知识。我们在两个真实世界的数据集上进行了大量的定量、削弱和探索性实验，验证了CCD的有效性。我们期望这个研究方向能够缩小现有KD研究和实际应用之间的差距，从而增强KD在实际系统中的适用性。

论文旨在解决在非静态环境下，将知识蒸馏技术应用于大规模推荐系统时所面临的问题，提出一种能够适应不断涌入的用户、物品和互动数据流的连续协作蒸馏框架。

论文提出了一种名为连续协作蒸馏（CCD）的框架，通过不断协作的方式，使得学生模型能够适应新数据，同时也能够充分利用累积的知识，从而实现高精度和高效率的推荐。

论文通过在两个真实数据集上进行大量的定量、削弱和探索性实验，验证了CCD框架的有效性。论文的亮点在于提出了一种在非静态环境下使用知识蒸馏技术的解决方案，并且在实验中取得了良好的效果。

近年来，知识蒸馏技术在推荐系统领域中得到了广泛的应用和研究。相关的研究包括：《Distilling the Knowledge in a Neural Network》、《Knowledge Transfer for Deep Learning using a Generalized Similarity Measure》等。