Lessons from Learning to Spin "Pens"

手中操纵类似笔的物体是我们日常生活中的重要技能，因为许多工具，如锤子和螺丝刀，形状类似。然而，由于缺乏高质量的演示和模拟与真实世界之间的显著差距，目前的基于学习的方法在这项任务中表现不佳。在这项工作中，我们通过展示旋转类似笔的物体的能力，推动了基于学习的手持操作系统的界限。我们首先使用强化学习来训练一个具有特权信息的oracle策略，并在模拟中生成高保真度的轨迹数据集。这有两个目的：1）在模拟中预训练传感器运动策略；2）在真实世界中进行开环轨迹重放。然后，我们使用这些真实世界的轨迹来微调传感器运动策略，以适应真实世界的动态。在不到50个轨迹的情况下，我们的策略学会了旋转多个具有不同物理特性的类似笔的物体多次。我们对我们的设计选择进行了全面的分析，并分享了开发过程中所学到的经验教训。

本篇论文旨在通过学习方法解决手中旋转类似笔的物体的问题，以及在实际应用中的推广。

文章提出了一种利用强化学习和模拟技术相结合的方法，通过在模拟环境中训练一个传感器-动作策略，再在实际环境中进行微调，实现对于旋转类似笔的物体的手中操控。

论文通过实验验证了该方法的有效性，并且使用了开源的数据集和代码，方便其他研究者进行进一步的研究。

在这个领域中，最近的相关研究包括《Learning Dexterous In-Hand Manipulation》和《Deep Reinforcement Learning for Vision-Based Robotic Grasping: A Simulated Comparative Evaluation》等。