Personalized Negative Reservoir for Incremental Learning in Recommender Systems

推荐系统已经成为在线平台的重要组成部分。每天，训练数据的数量都在不断增加，用户互动的数量也在不断增加。探索更大、更具表现力的模型已经成为提高用户体验的必要追求。然而，这种进展带来了更大的计算负担。在商业环境中，一旦推荐系统模型被训练和部署，通常需要经常更新以适应新的客户数据。总的来说，数据的增长量最终肯定会使得从头开始进行完整批量的模型重新训练在计算上变得不可行。简单地在新数据上进行微调会遇到灾难性遗忘的问题。尽管负采样是使用隐式反馈进行训练的重要部分，但没有专门针对增量学习框架的技术存在。在这项工作中，我们迈出了第一步，提出了个性化负采样策略，用于获得标准三元组损失的负样本。这种技术通过鼓励模型记住稳定的用户偏好并在用户兴趣改变时有选择地遗忘，平衡了减轻遗忘和可塑性的关系。我们推导了负采样器的数学公式，以填充和更新负样本库。我们将我们的设计集成到了三个SOTA和常用的增量推荐模型中。我们展示了我们的负样本库框架的这些具体实现在多个标准top-k评估指标的标准基准测试中实现了最先进的结果。

解决基于增量学习的推荐系统中，模型更新时遗忘先前的知识导致性能下降的问题。

提出一种个性化负采样策略，通过维护一个负样本库来平衡遗忘和可塑性，鼓励模型记住稳定的用户偏好并在用户兴趣改变时选择性地遗忘。

论文在三个SOTA的增量推荐模型中应用了该策略，取得了在多个标准top-k评估指标上的最新成果。开源了代码。

相关研究包括：Incremental Learning for Recommender Systems，Continual Learning in Recommender Systems，Continual Learning for Sentiment Analysis，Online Continual Learning with Maximally Interfered Retrieval。