来源：机器学习与推荐算法 提到强化学习，似乎总给人一种难以训练且难以落地的感觉。但是听大佬说，企业里强化学习推荐系统(RLRS)落地的例子其实已经有不少，不过一般都没有公开细节。现有公开且知名的RLRS技术分享有： 微软DRN新闻推荐系统[1] 美团“猜你喜欢”[2] 京东基于强化学习的page-wise推荐DeepPage 本文希望汇总这三个工作中的模型结构，试图从中总结出一些RLRS的通用性的规则或做法，并指出一些RLRS流程中存在的问题（个人拙见）。 强化学习的本质是让初始化的智能体(agent)在环境中探索，通过环境的反馈(reward)来不断纠正自己的行动策略(policy)，以期得到最大的reward。在推荐系统中，用户的需求会随时间动态的变化，RL agent不断探索的特性正好符合了推荐系统对动态性的要求，因此就把RL agent作为推荐系统。而agent不断探索如何满足用户的动态的需求，其实也是在不断尝试建模更长期的回报。这就引出了RLRS的两大优势： 满足用户的动态的需求 建模更长期的回报

当讨论强化学习算法的应用时，首先要明确马尔可夫决策过程(MDP)中的转移元组的各个元素的含义。在RLRS中： 动作(action)：推荐内容，如商品列表或者新闻列表 奖励(reward)：用户的反馈，如用户是否点击，或者浏览时间 状态(state)：RLRS的agent的状态是对环境以及自身所处情况的刻画，可以简单理解为此刻的用户历史行为日志 环境(environment)：环境是推荐系统所面对的外部环境，可以简单的理解为用户集合+物品集合，如果展示推荐内容的APP或者网页的某些属性(比如说APP中的推荐页面展示规则，或者页面所包含的其他内容)不能由推荐系统决定，那么环境也要包括网站与APP本身。

总结： 1. DRN给出了一种RLRS在线更新的方案，模型与更新方式很好的考虑了环境的动态特性，奖励函数考虑了长期回报。

  1. DeepPage中估计未见过的(state,action)的奖励时，给出了一种基于与历史(state,action)的相似度的奖励估计方案，缓解了RLRS离线更新时的外延误差问题。page-wise也是一种不错的思路，就是不知道有没有经过线上检验。

  2. 美团的比较偏向工程实践，给出了很多实践中可行的方案。 更多详情可以戳原文链接。 原文链接

内容中包含的图片若涉及版权问题，请及时与我们联系删除