Watch Less, Feel More: Sim-to-Real RL for Generalizable Articulated Object Manipulation via Motion Adaptation and Impedance Control

与刚性物体操作相比，关节物体操作带来了独特的挑战，因为物体本身代表了一个动态环境。在本研究中，我们提出了一种基于强化学习（RL）的新型管道，该管道配备了可变阻抗控制和基于观察历史的动作适应功能，以实现通用的关节物体操作，特别关注于在零样本模拟到现实转移过程中实现平滑和灵巧的动作。为了缓解模拟到现实之间的差距，我们的管道减少了对视觉的依赖，不直接将视觉数据特征（如RGBD或点云）作为策略输入，而是首先通过现成的模块提取有用的低维数据。此外，我们通过利用观察历史推断物体运动及其固有属性，并在模拟和现实中使用阻抗控制，进一步缩小了模拟到现实的差距。此外，我们设计了一个精心设计的训练环境，具有广泛的随机化和专门的奖励系统（任务感知和动作感知），从而实现了多阶段、端到端的操作，而无需启发式运动规划。据我们所知，我们的策略是第一个通过大量实验在各种未见过的物体上报告84%成功率的策略。

论文试图解决的问题是在零样本情况下，通过模拟到现实的转移实现对可活动物体（如铰接物体）的通用、平滑且灵巧的操作。这是一个具有挑战性的问题，因为与刚性物体不同，可活动物体在操作过程中会表现出动态变化，增加了控制难度。这并不是一个全新的问题，但在提高零样本模拟到现实转移的成功率方面是一个重要的研究方向。

关键思路是提出了一种基于强化学习（RL）的管道，结合了变阻抗控制和利用观察历史进行动作适应。该方法不直接依赖视觉数据（如RGBD或点云），而是通过现成模块提取低维有用信息，并利用观察历史推断物体运动及其内在属性。此外，该方法在模拟和现实中均使用阻抗控制，以减少模拟到现实的差距。这种方法的新颖之处在于它能够通过多阶段、端到端的方式执行操作，而无需启发式运动规划，并且首次报告了84%的真实世界成功率。

值得关注的地方包括：1) 使用低维数据而非直接视觉输入减少了模拟到现实的差距；2) 利用观察历史进行物体运动和属性推理；3) 结合阻抗控制提升操作的鲁棒性和灵活性；4) 设计了良好的训练环境，包括大量随机化和专门的任务及动作感知奖励系统；5) 实验展示了对各种未见过的物体高达84%的成功率。实验设计详尽，涵盖了多种未见过的物体，并且验证了该方法的通用性和有效性。虽然文中未明确提及代码开源情况，但其方法论值得进一步研究和应用。

最近在这个领域中，相关的研究还包括：1)《Learning Dexterous In-Hand Manipulation》探讨了手部灵巧操作的学习；2)《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》研究了基于物理的角色技能学习；3)《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》讨论了通过动力学随机化实现模拟到现实的转移。这些研究都致力于提高机器人在复杂环境中的操作能力，特别是从模拟环境向真实世界的迁移。