【标题】A Surrogate-Assisted Controller for Expensive Evolutionary Reinforcement Learning（昂贵进化强化学习的代理辅助控制器）

【作者团队】Yuxing Wang, Tiantian Zhang, Yongzhe Chang。Tsinghua University

【发表日期】 1 Jan, 2022

【论文链接】https://arxiv.org/pdf/2201.00129.pdf

【推荐理由】强化学习 (RL) 和进化算法 (EA) 的集成旨在同时利用样本效率以及两种范式的多样性和鲁棒性。最近，基于这一原理的混合学习框架在各种具有挑战性的机器人控制任务中取得了巨大的成功。然而，在这些方法中，来自遗传种群的策略是通过与真实环境的交互来评估的，这限制了它们在计算成本高的问题中的适用性。本文提出了代理辅助控制器 (SC)，这是一种新颖且高效的模块，可以集成到现有框架中，通过部分替代昂贵的策略评估来减轻 EA 的计算负担。应用此模块的关键挑战是防止优化过程被代理引入的可能错误最小值所误导。为了解决这个问题，本文提出了两种 SC 控制混合框架工作流的策略。来自 OpenAI Gym 平台的六个连续控制任务的实验表明，SC 不仅可以显著降低Gym评估的成本，还可以通过协作学习和进化过程提升原始混合框架的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除