Replay across Experiments: A Natural Extension of Off-Policy RL

回放数据是支撑离线策略强化学习（RL）稳定性和数据效率的主要机制。我们提出了一个有效而简单的框架，将回放的使用扩展到多个实验中，最小限度地调整RL工作流程，从而大幅提高控制器性能和研究迭代时间。在核心层面上，回放跨实验（RaE）涉及重复利用先前实验的经验，以改善探索和引导学习，同时与之前的工作相比，最小化所需的更改。我们在许多RL算法和具有挑战性的控制领域进行了实证研究，涵盖了动态和操作，包括来自自我中心视觉的困难探索任务。通过全面的消融实验，我们展示了对可用数据的质量和数量以及各种超参数选择的鲁棒性。最后，我们讨论了如何在研究生命周期的更广泛范围内应用我们的方法，并通过重新加载数据来增加对随机种子或超参数变化的韧性。

论文试图通过复用经验数据来提高强化学习的稳定性和数据效率，以及加快研究迭代速度。这是否是一个新问题？

论文提出了一个简单而有效的框架，称为RaE，可以将经验数据从先前的实验中复用到当前的实验中，以改善探索和引导学习，并减少所需的更改。相比之前的工作，RaE的关键思路是什么？

论文通过实验展示了RaE在多个强化学习算法和挑战性控制领域中的优势，包括从自我中心视觉中进行的难度探索任务。通过全面的分析，论文证明了RaE对可用数据的质量和数量以及各种超参数选择的鲁棒性。此外，论文还讨论了如何在研究生命周期中更广泛地应用该方法，并通过重新加载数据来增加韧性，以适应随机种子或超参数变化。

最近的相关研究包括：Off-Policy Deep Reinforcement Learning without Exploration (2018)、Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor (2018)、Soft Q-Learning with Mutual Information Regularization (2019)等。