伦敦帝国学院|从粗略到精细的Q-attention：通过离散化实现视觉机器人操作的有效学习

【标题】Coarse-to-Fine Q-attention: Efficient Learning for Visual Robotic Manipulation via Discretisation

【作者团队】Stephen James, Kentaro Wada, Tristan Laidlow, Andrew J. Davison

【发表日期】2022.3.15

【论文链接】https://arxiv.org/pdf/2106.12534.pdf

【推荐理由】本文提出了一种从粗到细的离散化方法，该方法能够在连续机器人领域中使用离散强化学习方法来代替不稳定和数据效率低下的行为体批判方法。这种方法建立在最近发布的ARM算法的基础上，该算法将连续的次优姿态智能体替换为离散的，具有从粗到细的Q-attention。给定一个体素化的场景，从粗到细的Q-attention会学习要“放大”场景的哪个部分。当这种“缩放”行为被迭代应用时，它会导致平移空间的近似无损离散化，并允许使用离散动作、深度Q学习方法。实验表明，本文的新算法从粗到精在几个困难的、报酬很少的基于RLBench视觉的机器人任务上实现了最先进的性能，并且可以在几分钟内训练真实世界的策略，只需3次演示。