【标题】Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts

【作者团队】Po-Hsiang Chiu, Manfred Huber

【发表日期】2022.8.9

【论文链接】https://arxiv.org/pdf/2208.04822.pdf

【推荐理由】学习涉及时变和演化系统动力学的控制策略通常对主流强化学习算法构成巨大挑战。在大多数标准方法中，动作通常被假定为一组刚性、固定的选择，以预定义的方式顺序应用于状态空间。标准动作表示和动作诱导的状态转换机制固有地限制了强化学习在复杂的现实应用中的应用，这主要是因为产生的大状态空间很难处理，并且缺乏将学习策略推广到状态空间未知部分的能力。本文提出了贝叶斯风格的广义强化学习框架，首先建立参数化动作模型的概念，以更好地处理不确定性和流体动作行为，然后引入强化场的概念，作为物理启发的构造，通过学习代理的工作记忆中保持的“极化经验粒子”建立。在强化领域的基础上，本文进一步推广策略学习过程，通过将过去记忆视为具有隐式图结构来纳入高层决策概念，其中过去记忆实例（或粒子）与定义的决策之间的相似性相互关联，从而，“联想记忆”原理可用于增强学习代理的世界模型。

v

内容中包含的图片若涉及版权问题，请及时与我们联系删除