Deep Uncertainty-Based Explore for Index Construction and Retrieval in Recommendation System

在推荐系统中，最终结果的相关性和新颖性是通过匹配->排名->策略的级联系统选择的。匹配模型是流程的起点，决定了后续阶段的上限。平衡匹配结果的相关性和新颖性是设计和优化推荐系统的关键步骤，对提高推荐质量有很大贡献。然而，典型的匹配算法并没有完美地同时解决相关性和新颖性。一个主要原因是，深度匹配算法在估计长尾项目（例如，由于训练样本不足）时存在显着的不确定性。这种不确定性不仅影响模型的训练，还影响这些模型的索引构建和波束搜索检索过程中的置信度。本文提出了UICR（基于不确定性的索引构建和检索探索）算法，引入了不确定性建模的概念，实现了模型不确定性和索引不确定性的多任务建模。最终的匹配结果是通过结合模型推断的相关性分数和不确定性分数得到的。实验结果表明，UICR在真实的工业生产环境和多个开源数据集上提高了新颖性，而不牺牲相关性。值得注意的是，Shopee的在线A/B测试结果证明了该算法的有效性。

论文旨在解决推荐系统中匹配算法不同时考虑相关性和新颖性的问题，提出了一种基于不确定性建模的匹配算法。

论文提出了UICR算法，将不确定性建模引入匹配阶段，实现了模型不确定性和索引不确定性的多任务建模，通过结合模型推断的相关性分数和不确定性分数获得最终匹配结果。

实验结果表明，UICR算法在真实工业生产环境和多个开源数据集上提高了新颖性而不损失相关性。此外，在Shopee的在线A / B测试结果中，该算法的有效性得到了证明。

最近的相关研究包括《Neural Collaborative Filtering with Long- and Short-term User Representations》、《Joint Deep Learning for Recommender Systems with Both Implicit and Explicit Feedback》等。