【标题】Benchmarking Deep Reinforcement Learning Algorithms for Vision-based Robotics

【作者团队】Swagat Kumar, Hayden Sampson, Ardhendu Behera

【发表日期】2022.1.11

【论文链接】https://arxiv.org/pdf/2201.04224.pdf

【推荐理由】本文描述了一些用于解决两个基于视觉的模拟机器人问题的最先进的强化学习算法的基准测试研究。本研究中考虑的算法包括软参与批评 (SAC)、近端策略优化 (PPO)、插值策略梯度 (IPG) 及其与事后经验重放 (HER) 的变体。此类算法的性能分别与 PyBullet 的两个模拟环境 KukaDiverseObjectEnv 和 RacecarZEDGymEnv 进行了比较。这些环境中的状态观测以 RGB 图像的形式提供，并且动作空间是连续的，以至于难以解决。本文提出了许多策略以提供在这些问题上实施 HER 算法所需的中间事后目标，这些问题本质上是单目标环境。此外，本文还提出了许多特征提取架构，将空间和时间注意力纳入学习过程。通过严格的模拟实验，确定了使用这些组件实现的改进。据研究所知，上述两个基于视觉的机器人技术问题无法进行此类基准研究，因此本研究在该领域做出了新的贡献。

内容中包含的图片若涉及版权问题，请及时与我们联系删除