Continual Collaborative Distillation for Recommender System

知识蒸馏（KD）已成为解决部署大规模推荐系统所面临的计算挑战的一种有前途的技术。KD将大型教师系统的知识传递给紧凑的学生模型，以减少推理的巨大计算负担，同时保持高精度。现有的KD研究主要集中在静态环境中一次性蒸馏，这在处理不断涌入的用户、物品及其交互的实际场景中存在重大差距。在这项工作中，我们深入探讨了在非平稳数据流中操作教师-学生KD的系统方法。我们的目标是通过一个紧凑的学生实现高性能的大型教师的有效部署，同时有效地适应不断涌入的数据。我们提出了连续协作蒸馏（CCD）框架，其中教师和学生都在数据流中持续协作演进。CCD有助于学生有效地适应新数据，同时也使教师能够充分利用积累的知识。我们通过对两个真实数据集进行广泛的定量、削弱和探索性实验，验证了CCD的有效性。我们期望这个研究方向能够缩小现有KD研究与实际应用之间的差距，从而增强KD在实际系统中的适用性。

本文旨在解决在非静态环境下，如何通过知识蒸馏（KD）技术来实现大规模推荐系统的高效部署的问题。

提出了连续协作蒸馏（CCD）框架，使教师和学生模型可以在数据流中不断演化和协作，以便学生模型可以有效地适应新数据，同时使教师模型能够充分利用累积的知识。

实验结果表明，CCD框架可以在两个真实世界的数据集上有效地提高推荐系统的性能。论文提供了大量的定量、剖析和探索性实验，并开源了代码。该研究方向有望缩小现有KD研究和实际应用之间的差距，从而增强KD在实际系统中的适用性。

相关研究包括《Distilling the Knowledge in a Neural Network》、《Model Compression》等。