Pre-train and Fine-tune: Recommenders as Large Models

实际上，用户在不同的时期、地区和场景等条件下有不同的兴趣。这种兴趣的变化非常剧烈，以至于推荐系统难以捕捉。现有的多域学习可以在一定程度上缓解这个问题。然而，工业推荐系统的结构复杂，数据量庞大，训练成本极高，因此很难修改工业推荐系统的结构并重新训练。为了填补这一空白，我们将推荐系统视为大型预训练模型，并对其进行微调。我们首先提出了用于微调的信息瓶颈理论，并对推荐系统中的微调技术进行了解释。为了适应推荐任务，我们设计了一种信息感知自适应核（IAK）技术来微调预训练的推荐系统。具体来说，我们将微调定义为两个阶段：知识压缩和知识匹配，并让IAK的训练阶段明确逼近这两个阶段。我们从微调的本质出发设计的方法具有良好的可解释性。广泛的在线和离线实验表明了我们提出的方法的优越性。此外，我们还分享了在大规模在线平台部署该方法时学到的独特且重要的经验教训。我们还介绍了推荐系统中微调技术的潜在问题及其相应的解决方案。带有IAK技术的推荐系统已经在数十亿规模的在线食品平台首页部署了几个月，并为我们的业务带来了显著的收益。

论文试图解决推荐系统中用户兴趣随时间、地区和场景变化的问题，这些变化难以通过现有的多域学习方法有效捕捉。此外，工业级推荐系统的复杂结构、庞大训练数据量及高昂的训练成本也限制了对系统结构的修改和重新训练。

论文提出了一种新的细调（fine-tuning）方法，将推荐系统视为大型预训练模型，并引入信息瓶颈理论来指导细调过程。具体来说，设计了一种信息感知自适应核（IAK）技术，该技术分为知识压缩和知识匹配两个阶段，以更好地适应用户兴趣的变化。这种方法不仅提高了推荐系统的性能，而且具有良好的可解释性。

1. 提出了基于信息瓶颈理论的细调方法，并将其应用于推荐系统。 2. 设计了信息感知自适应核（IAK）技术，通过知识压缩和知识匹配两阶段进行细调。 3. 在一个拥有数十亿用户的在线食品平台主页上进行了部署，取得了显著的商业效益。 4. 分享了在大规模在线平台上部署该方法的经验教训。 5. 讨论了细调技术在推荐系统中的潜在问题及其解决方案。 6. 实验部分包括广泛的线上和线下实验，验证了方法的有效性。

最近在这个领域内的相关研究包括： 1. 'Multi-Domain Learning for Personalized Recommendation' - 探讨了如何利用多域学习改进个性化推荐。 2. 'Adaptive Fine-Tuning for Large-Scale Recommender Systems' - 研究了大规模推荐系统的自适应细调方法。 3. 'Information Bottleneck Theory in Neural Networks' - 深入探讨了信息瓶颈理论在神经网络中的应用。 4. 'Efficient Training Strategies for Deep Recommender Systems' - 关注提高深度推荐系统的训练效率的方法。