Retrieval and Distill: A Temporal Data Shift-Free Paradigm for Online Recommendation System

目前的推荐系统存在一个严重的问题，即时间数据偏移，这是历史数据分布与在线数据分布之间的不一致性。大多数现有模型都专注于利用更新的数据，忽略了可以从移动数据中学习到的可转移的、时间数据偏移自由的信息。我们提出了“关联的时间不变性定理”，它表明在固定的搜索空间内，数据和搜索空间内的数据之间的关系随时间保持不变。利用这个原则，我们设计了一个基于检索的推荐系统框架，可以使用移动数据训练一个数据偏移自由的相关性网络，显著提高了推荐系统中原始模型的预测性能。然而，基于检索的推荐模型在部署在线时面临着巨大的推理时间成本。为了解决这个问题，我们进一步设计了一个蒸馏框架，可以使用移动数据将信息从相关性网络蒸馏到一个参数化模块中。蒸馏模型可以与原始模型一起在线部署，推理时间仅略微增加。多个真实数据集上的广泛实验表明，我们的框架通过利用移动数据显著提高了原始模型的性能。

解决推荐系统中的数据时序偏移问题，提高模型预测性能。

提出时间关联不变性定理，设计了一个基于检索的推荐系统框架，利用数据时序偏移信息训练数据偏移无关的相关性网络，并设计了一个蒸馏框架将相关性网络中的信息蒸馏到参数化模块中，以实现在线推荐。

论文实验采用多个真实数据集，证明了该框架可以显著提高推荐系统的预测性能；论文开源了代码，可供学术界和工业界使用；该框架可以在在线推荐中使用，且推理时间成本较小。

最近的相关研究包括基于深度学习的推荐系统、利用时序信息改进推荐系统性能等，例如“Deep Learning based Recommender System: A Survey and New Perspectives”、“Temporal Collaborative Ranking for Personalized Time-Aware Item Recommendation”等。