Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity

我们的研究探究了各种因素对于成功学习手指抓取和旋转物体的策略的影响，这是实现自主手持灵巧操纵所必需的。具体而言，我们研究了课程学习和触觉反馈在促进灵巧操纵学习中的作用。使用无模型强化学习，我们比较了不同的课程和两种触觉信息模式（无触觉和三维力传感器），用三指模拟机器人手抬起和旋转一个球以对抗重力，没有视觉输入。需要注意的是，我们使用了一种新的基于课程的学习率调度器，当奖励改变时调整线性递减的学习率，加速收敛到更高的奖励。我们的研究结果表明，课程的选择极大地影响了灵巧操纵不同特征的获取。令人惊讶的是，即使没有触觉反馈，也可以成功地学习，这挑战了关于灵巧操纵任务需要触觉信息的传统假设。我们展示了我们的结果适用于不同重量和大小的球，强调了我们学习方法的鲁棒性，因此，这项工作强调了课程选择的重要性，并挑战了长期以来关于自主学习手持灵巧操纵需要触觉信息的观念。

探究在无视觉输入情况下，通过何种学习策略以及是否需要触觉反馈，可以实现手指端的物体抓取和旋转任务。

通过无模型强化学习，比较不同课程和两种触觉信息模态（无触觉和3D力传感）对于三指机械手抬起和旋转球体的影响。使用基于课程的学习率调度器，加速获得更高奖励的收敛速度。结果表明，不同课程的选择会极大地影响手指端物体操作的不同特征的学习。令人惊讶的是，即使没有触觉反馈，也可以成功学习。

实验结果表明，课程的选择对于手指端物体操作的不同特征的学习有很大的影响。此外，即使没有触觉反馈，也可以成功学习。此外，研究还展示了该方法在不同重量和大小的球体上的泛化能力。

最近的相关研究包括：《End-to-End Learning of Object Grasping for a Dexterous Hand》、《Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning》等。