Contextual Distillation Model for Diversified Recommendation

在提高用户体验方面，推荐的多样性和准确性同等重要。现有的研究，例如确定性点过程（DPP）和最大边际相关性（MMR），采用贪心算法来迭代选择既优化准确性又优化多样性的物品。然而，先前的方法通常表现出二次复杂性，限制了它们在重新排序阶段的应用，并且不适用于具有更大候选项池的其他推荐阶段，例如预排序和排序阶段。在本文中，我们提出了一种称为上下文蒸馏模型（CDM）的高效推荐模型，用于增加多样性，并适用于工业推荐流程的所有阶段。具体而言，CDM利用同一用户请求中的候选项作为上下文来增强结果的多样性。我们提出了一种对比上下文编码器，利用注意机制来建模正面和负面上下文。对于CDM的训练，我们将每个目标项与其上下文嵌入进行比较，并利用知识蒸馏框架来学习每个目标项在MMR算法下的获胜概率，其中教师是从MMR输出中派生出来的。在推理过程中，通过推荐和学生模型得分的线性组合进行排名，确保多样性和效率。我们在两个工业数据集上进行离线评估，并在短视频平台快手上进行CDM的在线A / B测试。如指标所示，推荐质量和多样性的显着提高，为CDM的有效性提供了强有力的优势。

提高推荐系统的多样性和效率，解决现有方法在大规模候选物品场景下复杂度高的问题。

使用同一用户请求中的候选物品作为上下文，利用对比上下文编码器和知识蒸馏框架，通过线性组合推荐模型和学生模型分数来实现推荐排序，同时保证多样性和效率。

论文提出了Contextual Distillation Model（CDM）来解决推荐系统中的多样性和效率问题，适用于推荐流程的所有阶段。论文在两个工业数据集上进行了离线评估，并在短视频平台KuaiShou上进行了在线A / B测试，证明了CDM在推荐质量和多样性方面的显着提升。

相关研究包括Determinantal Point Process（DPP）和Maximal Marginal Relevance（MMR）等现有方法，但这些方法通常具有二次复杂度限制，只适用于重新排序阶段，而不适用于具有更大候选物品池的其他推荐阶段。