强化学习的泛化性一直是个被人诟病的问题。最近来自UCL& UC Berkeley的研究人员对《深度强化学习》做综述，阐述了当前深度学习强化学习的泛化性工作，进行了分类和讨论。

 

深度强化学习 (RL) 中的泛化研究旨在产生 RL 算法，其策略可以很好地泛化到部署时新的未知情况，避免过度拟合其训练环境。如果要在现实世界的场景中部署强化学习算法，解决这个问题至关重要，在现实世界中，环境将是多样的、动态的和不可预测的。本综述是对这一新兴领域的概述，在已有研究的基础上，通过提供了一个统一的格式和术语来讨论不同的泛化问题。继续对现有的泛化基准以及解决泛化问题的方法进行分类。最后，对该领域的现状进行了批判性讨论，包括对未来研究的建议。本文认为对基准设计采用纯程序性内容生成方法不利于泛化，其提出快速在线适应和解决RL特定问题，并在未充分探索的问题环境中建立基准，如离线RL泛化和奖励函数变化。

 

论文链接：https://arxiv.org/abs/2111.09794

内容中包含的图片若涉及版权问题，请及时与我们联系删除