【标题】A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning

【作者团队】Jixian Guo, Mingming Gong, Dacheng Tao

【发表日期】2022.6.9

【论文链接】https://arxiv.org/pdf/2206.04551.pdf

【DEMO】https://github.com/CR-Gjx/RIA

【推荐理由】将基于模型的强化学习（MBRL）方法推广到具有不可见过渡动态的环境中是一个重要但具有挑战性的问题。现有方法试图从过去的过渡段中提取环境指定的信息Z，使动态预测模型可推广到不同的动态。然而，由于环境没有标记，提取的信息不可避免地包含与过渡段中的动态无关的冗余信息，因此无法保持Z的关键属性：Z在相同的环境中应该相似，在不同的环境中应该不同。因此，学习到的动态预测函数将偏离真实的动态预测函数，从而削弱泛化能力。为此，本文引入了一个介入预测模块来估计两个估计的z^i，z^j属于同一环境的概率。此外，通过利用Z在单个环境中的不变性，提出了一个关系头来增强来自相同环境的Z之间的相似性。因此，Z^中的冗余信息将减少。基于经验表明，与以前的方法相比，用该方法估计的Z ^具有更少的冗余信息，并且这种Z ^可以显著减少动态预测误差，提高基于模型的RL方法在零样本新环境下的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除