【标题】Pink Noise Is All You Need: Colored Noise Exploration in Deep Reinforcement Learning

【作者团队】

【发表日期】2022.9.22

【论文链接】https://openreview.net/pdf?id=hQ9V5QN27eS

【推荐理由】在具有连续动作空间的非策略深度强化学习中，探索通常是通过在动作选择过程中注入动作噪声来实现的。 基于随机策略的流行算法（例如 SAC 或 MPO）通过从不相关的高斯分布中采样动作来注入白噪声。 然而，在许多任务中，白噪声不能提供足够的探索，而是使用时间相关的噪声。 一个常见的选择是 Ornstein-Uhlenbeck (OU) 噪声，它与布朗运动（红噪声）密切相关。 红噪声和白噪声都属于广义的有色噪声家族。 在这项工作中，作者对 MPO 和 SAC 进行了全面的实验评估，以探索其他颜色噪声作为动作噪声的有效性。 作者发现介于白噪声和红噪声之间的粉红噪声在广泛的环境中明显优于白噪声、OU 噪声和其他替代方案。 因此，本文建议将其作为连续控制中动作噪声的默认选择。

内容中包含的图片若涉及版权问题，请及时与我们联系删除