Part-Guided 3D RL for Sim2Real Articulated Object Manipulation

本文提出了一种新的基于部件引导的三维强化学习框架，可以在没有演示的情况下学习操作关节物体。该框架结合了二维分割和三维强化学习的优势，提高了强化学习策略训练的效率。为了提高策略在真实机器人上的稳定性，作者设计了一种框架一致、不确定性感知的采样策略，以获得简洁和分层的三维表示。此外，可以在模拟中同时训练单个通用的强化学习策略，用于多个关节物体操作任务，并且对于新类别和实例具有很强的泛化能力。实验结果表明，该框架在模拟和实际环境中都非常有效。代码可在https://github.com/THU-VCLab/Part-Guided-3D-RL-for-Sim2Real-Articulated-Object-Manipulation获取。

本论文旨在解决机器人在没有演示的情况下，通过视觉反馈来操纵复杂物体的问题。现有的学习方法主要集中在视觉特征学习或其他预先训练的视觉模型来指导操纵策略，但在现实世界中面对新实例时存在挑战。

本论文提出了一种新的部分引导的三维强化学习框架，可以在没有演示的情况下学习操纵关节物体。该框架结合了二维分割和三维强化学习的优势，提高了强化学习策略训练的效率。

本论文的亮点包括：设计了一种框架一致的、不确定性感知的采样策略，以获得简洁的分层三维表示，从而提高了策略在实际机器人上的稳定性；在模拟中同时训练单一通用强化学习策略，可以适用于多个关节物体操纵任务，并且在新类别和实例上表现出很好的泛化能力；在模拟和实际环境中进行了实验，并取得了良好的效果；开源了代码。

在这个领域的相关研究包括：基于视觉特征学习的方法，如视觉奖励学习；基于强化学习的方法，如基于策略的方法和基于价值的方法；基于模型的方法，如基于物理的模拟方法。