【标题】A Study of Causal Confusion in Preference-Based Reward Learning

【作者团队】Jeremy Tien, Jerry Zhi-Yang He, Zackory Erickson, Anca D. Dragan, Daniel Brown

【发表日期】2022.4.13

【论文链接】https://arxiv.org/pdf/2204.06601.pdf

【推荐理由】通过基于偏好的奖励学习来学习机器人策略是一种越来越流行的定制机器人行为的方法。然而，越来越多的证据表明，从偏好中学习奖励函数容易产生虚假的相关性。在强化学习中，有很多关于因果混淆的经验和理论分析，这些方法直接从状态映射到行为。本文首次在从偏好学习奖励函数的背景下，对因果混淆进行了系统研究。 为了促进这项研究，作者确定了一组三个偏好学习基准域，在从成对轨迹偏好的离线数据集中学习时观察到因果混淆。为了深入了解这种观察到的因果混淆，作者提出了一项敏感性分析，探讨了不同因素（包括训练数据类型、奖励模型容量和特征维度）对从偏好中学习到的奖励的稳健性的影响。作者发现有证据表明，从成对轨迹偏好中学习奖励对虚假特征和增加的模型容量高度敏感且不鲁棒，但对训练数据的类型不敏感。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除