CARL：上下文和自适应强化学习的基准

【作者团队】Carolin Benjamins, Theresa Eimer, Frederik Schubert

【论文链接】https://openreview.net/pdf?id=6D45bYP5MRP

【推荐理由】虽然强化学习在解决越来越复杂的任务方面取得了长足的进步，但许多算法仍然很脆弱，即使环境发生轻微变化也是如此。这是 RL 在实际应用中的一个限制因素。尽管研究界一直致力于提高 RL 算法的鲁棒性和泛化性，但遗憾的是，它仍然缺乏基于一致理论框架的一组定义明确的开源基准问题，该框架允许以公平、可靠和可重复的方式比较不同的方法。 为了填补这一空白，本文提出了 CARL，这是一组众所周知的 RL 环境，扩展到上下文 RL 问题以研究泛化。本文通过证明如果必须考虑此任务的不同上下文实例，即使是简单的玩具环境对常用方法也具有挑战性，从而表明对此类基准的迫切需求。此外，CARL 能够提供第一个证据，证明将状态的表征学习与上下文的策略学习分开有助于更好的泛化。通过提供来自经典控制、物理模拟、游戏和 RNA 设计的现实世界应用的各种基准的变体，CARL 将允许社区在坚实的经验基础上获得更多这样的见解。CARL 使我们能够提供第一个证据，证明将状态的表征学习与上下文的策略学习分开有助于更好的泛化。通过提供来自经典控制、物理模拟、游戏和 RNA 设计的现实世界应用的各种基准的变体，CARL 将允许研究在坚实的经验基础上获得更多这样的见解。