【标题】A Surrogate-Assisted Controller for Expensive Evolutionary Reinforcement Learning

【作者团队】Yuxing Wang, Tiantian Zhang, Yongzhe Chang, Bin Liang, Xueqian Wang, Bo Yuan

【发表日期】2022.1.1

【论文链接】https://arxiv.org/pdf/2201.00129.pdf

【推荐理由】强化学习（RL）和进化算法（EAs）的集成旨在同时利用样本效率以及两种范式的多样性和鲁棒性。最近，基于该原理的混合学习框架在各种具有挑战性的机器人控制任务中取得了巨大成功。然而，在这些方法中，来自遗传群体的策略是通过与真实环境的交互来评估的，这限制了它们在计算昂贵的问题中的适用性。本文提出了代理辅助控制器(SC)，一种新颖而高效的模块，可以集成到现有的框架中，通过部分替代昂贵的策略评估来减轻EAs的计算负担。应用此模块的关键挑战是防止优化过程被代理引入的可能的虚假最小值误导。为了解决这个问题，本文为SC提供了两种策略来控制混合框架的工作流。在OpenAI Gym平台的六个连续控制任务上的实验表明，SC不仅可以显著降低适应度评估的成本，还可以提升具有协作学习和进化过程的原始混合框架的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除