在互联网APP中,例如电商(淘宝、京东、拼多多)、信息流(头条、微博、看一看)、短视频(抖音、快手、微信视频号)等,搜索推荐的多样性对优化点击转化效率、用户体验、浏览深度、停留时长、回访、留存等目标至关重要。

深度学习精排阶段的排序模型,泛化能力比较好,一般相似的物品精排分数也比较接近,如果直接用精排分数排序展示结果,会导致排名靠前的结果非常类似,容易造成视觉疲劳,对兴趣宽泛、偏逛、需求不明确等用户体验很差。下图展示了,Airbnb实际的搜索结果中,排序靠前的listing(即item,民宿房间),价格、位置差别通常非常小。

所以,工业界的搜索推荐系统,一般包括召回、粗排(可选)、精排、重排模块。在召回阶段,通过多路召回(item2item, 向量召回等)方式,召回和用户最近点击相似相关的物品、热门物品等,一般有几千到几万,保证效率、丰富、多样性。粗排阶段,通过简化的精排模型,对大量召回物品打分,返回几千个物品。在精排阶段,用更复杂的深度排序模型等对这些物品打分。最后,在重排序阶段,对综合考虑点击率、转化率、价格、多样性等信息,对物品计算新的排序分数,最后展示给用户。

重排序阶段,多样性的优化方面,工业界搜索推荐系统实用的代表性方法,包括 MRR (Maximal Marginal Relevance) , Google Youtube和Hulu视频推荐中的DPP(Determinantal Point Process),阿里电商推荐中基于Transformer的PRM,Google Youtube基于强化学习的模型SlateQ等。

本文将基于Airbnb KDD 2020年的论文,介绍Airbnb搜索排序中在重排序阶段如何解决多样性的问题,对工业界搜索推荐系统优化多样性,具有很好的指导借鉴意义。感兴趣的可以戳链接。

内容中包含的图片若涉及版权问题,请及时与我们联系删除