- 简介本文旨在模仿人类灵活的手部操作、感知经验和运动模式，通过使用双臂系统和多指手以及视觉触觉数据来探索从人类演示中学习。存在两个重要的挑战：缺乏适用于双臂多指手装置的经济实惠和易于获取的远程操作系统，以及缺乏配备触摸传感器的多指手硬件。为了解决第一个挑战，我们开发了HATO，这是一个低成本的手臂远程操作系统，利用现成的电子设备，配合软件套件，实现了高效的数据收集；全面的软件套件还支持多模态数据处理、可扩展的策略学习和平滑的策略部署。为了解决后一个挑战，我们通过重复使用装备有触摸传感器的两只假肢手来引入一种新的硬件适应技术，以进行研究。利用从我们的系统收集的视觉触觉数据，我们学习了完成长期、高精度任务的技能，这些任务在没有多指灵活性和触觉反馈的情况下很难完成。此外，我们还实证研究了数据集大小、传感模式和视觉输入预处理对策略学习的影响。我们的结果标志着从视觉触觉数据中进行双臂多指操作的一个有前途的步骤。视频、代码和数据集可在 https://toruowo.github.io/hato/ 找到。
- 图表
- 解决问题论文旨在通过学习人类示范来探索双臂系统的多指手和视觉触觉数据，以实现类似于人类的灵巧性、感知体验和运动模式。但是，双臂系统的多指手和触觉传感器的硬件成本高昂，缺乏廉价易用的遥操作系统，这是两个主要的挑战。
- 关键思路通过开发低成本的手臂遥操作系统HATO，以及重新利用带有触觉传感器的假肢手来解决硬件挑战，利用从系统收集的视觉触觉数据，学习完成长时间跨度、高精度任务的技能。
- 其它亮点论文提出了一个低成本的手臂遥操作系统HATO，支持多模态数据处理、可扩展的策略学习和平滑的策略部署。通过重新利用带有触觉传感器的假肢手来解决硬件挑战。论文还探讨了数据集大小、传感器模式和视觉输入预处理对策略学习的影响。研究结果为双臂多指操纵提供了一个有前途的步骤。
- 相关研究包括使用深度学习和强化学习技术来学习机器人操纵技能的研究，例如“End-to-end Learning of Deep Visuomotor Policies”和“Playing Atari with Deep Reinforcement Learning”。此外，还有一些研究探索使用人类示范来学习机器人技能，例如“Learning Hand-Eye Coordination for Robotic Grasping with Large-Scale Data Collection”。
提问交流