Entity-Centric Reinforcement Learning for Object Manipulation from Pixels

本文讨论了物体操作是人类智能的标志，也是机器人等领域中的重要任务。强化学习原则上提供了一种学习物体操作的通用方法。但是，在实践中，由于维度灾难，特别是从原始图像观测中学习，多于几个物体的领域对强化学习代理来说非常困难。因此，本文提出了一种适合表示多个物体及其相互作用的结构化视觉强化学习方法，并用它来学习多个物体的目标条件下的操作。我们方法的关键在于能够处理具有物体之间依赖关系的目标（例如，按特定顺序移动物体）。我们进一步将我们的架构与训练代理的泛化能力联系起来，基于组合泛化的理论结果，演示了学习3个物体但推广到具有10多个物体的类似任务的代理。项目网站提供视频和代码：https://sites.google.com/view/entity-centric-rl。

本文试图解决通过增强学习实现多物体操作的问题，尤其是在处理多个物体时，由于维度灾难而难以实现。

本文提出了一种结构化方法，适用于表示多个物体及其相互作用，并用它来学习多个物体的目标条件操作。关键在于处理具有对象之间依赖关系的目标。

本文的亮点在于提出了一种适用于多个物体操作的结构化方法，并且能够处理具有对象之间依赖关系的目标。实验结果表明，该方法能够处理多达10个物体的任务，并且具有较强的泛化能力。作者还提供了数据集和代码。

在这个领域中，还有一些相关的研究，如《Object-Oriented Control with Hierarchical Deep Reinforcement Learning》、《Visual Interaction Networks: Learning a Physics Simulator from Video》等。