新用户和冷用户喜好预测问题一直是推荐系统领域的难题，并广泛存在于计算广告、App 推荐、电子商务和信息流推荐场景。目前绝大多数解决方案都是基于用户外部画像数据进行喜好预测，因此预测准确率严重受制于画像数据准确率，并且用户画像数据搜集成本高，还涉及敏感的隐私问题；另外，据了解，即便拥有十分精准的用户画像数据，仍然很难针对新冷用户做到个性化推荐，其点击率和相应的 top-N 指标仍然显著低于常规热用户。

那么关于用户冷启动的场景，有没有更好的解决办法呢？最近，腾讯 QQ 看点（PCG 事业群）团队 SIGIR 2020 长文《Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation》提出了一种迁移学习架构 PeterRec，专门解决新用户和冷用户推荐问题。

PeterRec 的基本思想是通过自监督学习一个通用的用户表征，然后将该用户表征应用到下游任务中，例如冷启动用户场景（PeterRec 同时可以解决用户画像预测）。从论文的实验结果来看，这种采用自监督预训练网络学习用户点击行为的方法可以高效地推测出用户偏好等信息。

近年来，迁移学习对 CV 和 NLP 领域产生重大影响，但尚未广泛应用于推荐系统领域。此外，据研究人员调查，推荐系统领域目前的迁移学习科研工作都没有明确地展示出预训练网络对于下游任务具有 positive transfer 效果。而腾讯具有非常丰富的业务场景，部分业务（例如腾讯视频、QQ 浏览器）具有数亿的 DAU 用户，并且很多用户具有数百上千的点击行为，这些海量的用户点击行为为其他推荐业务场景（例如 QQ 看点、微视、腾讯广告、应用宝、微信看一看）的新冷用户提供了丰富的可迁移知识。

在本文中，腾讯 QQ 看点团队尝试将 PeterRec 模型应用于 QQ 看点的视频推荐业务中。之所以选择 PeterRec 模型，除了其较好的个性化推荐能力外，很重要的一点是，PeterRec 可以实现一预训练网络服务数十 / 百个推荐业务场景的能力。本文将从模型架构、数据处理、模型实现、后续工作四个方面进行介绍。感兴趣的可以戳链接。

内容中包含的图片若涉及版权问题，请及时与我们联系删除