Knowledge Distillation Approaches for Accurate and Efficient Recommender System

尽管知识蒸馏在分类问题上取得了突破，但在推荐模型和排名问题上的应用在以前的文献中并没有得到很好的研究。本文致力于开发适用于推荐系统的知识蒸馏方法，以充分提高紧凑型模型的性能。我们提出了针对推荐系统设计的新型蒸馏方法，这些方法根据它们的知识来源被分类如下：（1）潜在知识：我们提出了两种方法，可以转移用户/项目表示的潜在知识。它们通过平衡的蒸馏策略有效地传递了利基口味的知识，防止了知识蒸馏过程偏向于少数大型偏好群体。此外，我们提出了一种新的方法，在表示空间中转移用户/项目关系。该方法考虑到紧凑型模型的容量限制，有选择地传递必要的关系。（2）排名知识：我们提出了三种方法，从推荐结果中转移排名知识。它们将知识蒸馏过程形式化为排名匹配问题，并通过列表式学习策略传递知识。此外，我们提出了一种新的学习框架，压缩异构推荐模型的排名知识。该框架的开发旨在减轻模型集成的计算负担，这是许多推荐应用的主要解决方案。我们通过广泛的实验证实了我们提出的方法和框架的优点。总之，本文为推荐模型的准确性和效率之间的权衡提供了知识蒸馏方法的启示。

本论文旨在为推荐系统开发知识蒸馏方法，以完全提高紧凑模型的性能。作者提出了针对推荐系统的新型蒸馏方法，并将其分为两类：潜在知识和排名知识。

本论文的关键思路是开发适用于推荐系统的知识蒸馏方法，以提高模型的准确性和效率。作者提出了五种新的蒸馏方法，包括潜在知识和排名知识。

本论文的实验结果表明，新的蒸馏方法可以显著提高推荐系统的性能。作者还提出了一种新的学习框架，用于压缩异构推荐模型的排名知识。此外，作者还提供了用于评估推荐系统性能的数据集和开源代码。

最近的相关研究包括“Deep Neural Networks for YouTube Recommendations”和“Collaborative Filtering with Recurrent Neural Networks”。