【标题】CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning

【作者团队】Chenyu Sun, Hangwei Qian, Chunyan Miao

【发表日期】2022.5.3

【论文链接】https://arxiv.org/pdf/2205.00943.pdf

【推荐理由】在强化学习（RL）中，直接从高维观测中学习是一项挑战，最近的研究表明，数据增强可以通过编码原始像素的不变性来弥补这一点。然而从经验上，并非所有样本都同等重要，因此简单地注入更多的增强输入可能会导致Q学习的不稳定性。本文通过开发一个模型不可知的对比好奇心驱动学习框架（CCLF）系统地研究了这个问题，该框架可以充分利用样本的重要性，并以自我监督的方式提高学习效率。CCLF能够对体验重放进行优先级排序，选择信息量最大的增强输入，更重要的是将Q函数和编码器规范化，以便更专注于学习不足的数据。此外，它还鼓励代理以好奇心为基础进行探索。因此，智能体可以专注于更多信息样本，并更有效地学习表示不变性，同时显著减少了增强输入。与其他最先进的方法相比，本文的方法展示了优越的样本效率和学习性能。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除