【标题】Selective particle attention: Rapidly and flexibly selecting features for deep reinforcement learning

【作者团队】Sam Blakeman, Denis Mareschal

【发表日期】 2022.03.17

【论文链接】https://www.sciencedirect.com/science/article/pii/S0893608022000934

【推荐理由】深度强化学习 (RL) 经常被批评为数据效率低且对任务结构的变化不灵活。这些问题的部分原因是 Deep RL 通常使用反向传播进行端到端学习，这会产生特定于任务的表示。生物智能体似乎通过在许多任务上形成内部表示并仅根据手头的任务选择这些特征的一个子集进行决策来解决这个问题。本文从生物智能体中的选择性注意中汲取灵感，并提出了一种称为选择性粒子注意 (SPA) 的新算法，该算法为深度强化学习选择现有表示的子集。并且这些子集不是通过反向传播学习的，反向传播很慢且容易过度拟合，而是通过粒子过滤器学习，该过滤器仅使用奖励反馈快速灵活地识别特征的关键子集。本文在涉及原始像素输入和任务结构动态变化的两个任务上评估 SPA，并表明它极大地提高了下游深度 RL 算法的效率和灵活性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除