Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems

知识蒸馏（KD）是一种将大型模型压缩为更小、更高效的模型的强大方法，特别适用于像推荐系统这样对延迟敏感的应用。然而，目前的KD研究主要集中在计算机视觉（CV）和自然语言处理（NLP）任务上，忽视了推荐系统固有的独特数据特征和挑战。本文解决了这些被忽视的挑战，具体包括：（1）缓解教师模型和学生模型之间的数据分布偏移，（2）在时间和预算限制内高效地确定最佳的教师配置，以及（3）支持多个学生的计算效率高、快速共享教师标签。我们提出了一个健壮的KD系统，并在Google的多个大规模个性化视频推荐系统中进行了严格评估。我们的实时实验结果表明，在确保从连续的数据流中一致可靠地生成高质量的教师标签的同时，学生模型性能有了显著的提高。

本论文旨在解决知识蒸馏在推荐系统中的应用问题，包括如何缓解教师模型和学生模型之间的数据分布偏移、如何在时间和预算限制内高效地确定最佳教师配置，以及如何支持多个学生的计算效率和快速共享教师标签。

论文提出了一种强大的知识蒸馏系统，通过在多个大规模个性化视频推荐系统上进行严格评估，证明了其有效性。该系统解决了推荐系统中的独特数据特征和挑战，提出了一种新的解决方案，包括基于样本权重的知识蒸馏方法、基于贪心算法的教师模型选择和基于多任务学习的标签共享机制。

论文的实验设计非常严谨，使用了多个大规模的个性化视频推荐数据集，证明了新方法的有效性。此外，论文还提出了一种新的样本权重方法来缓解数据分布偏移问题，并通过多任务学习实现了教师标签的高效共享。值得进一步研究的是如何将该方法应用于其他推荐场景，并探索更多的知识蒸馏技术。

在推荐系统领域，知识蒸馏的应用还比较有限。最近的一些相关研究包括《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》、《Neural Collaborative Filtering》等。