Dexterous Teleoperation of 20-DoF ByteDexter Hand via Human Motion Retargeting

复制人类级别的灵巧操作仍然是机器人领域的一个基础性挑战，这需要从机电设计到高自由度（DoF）机械手控制等多方面的综合解决方案。尽管模仿学习在将人类灵巧能力转移至机器人方面展现出潜力，但所训练策略的效果依赖于人类示范数据的质量。我们通过一个手—臂协同的遥操作系统来弥补这一差距，该系统具有以下特色：（1）一个由20个自由度联动机构驱动的人形机械手，具备仿生灵巧性；（2）一种基于优化的运动重定向方法，能够实时、高保真地复现复杂的人类手部动作，并实现手—臂动作的无缝协调。我们通过广泛的实证评估验证了该系统的有效性，评估任务包括灵巧的手内操作任务，以及一个需要整理随机摆放了九种物品的凌乱化妆台的长时程任务。实验结果表明，该系统具备直观的遥操作界面和实时控制能力，并能生成高质量的示范数据。更多细节请参考随附视频。

这篇论文试图解决机器人领域中复制人类级别的手部灵活性（dexterity）这一长期存在的挑战。现有的模仿学习方法受限于人类示范数据的质量，而高质量的手部操作数据的获取较为困难。因此，如何构建一个能够生成高质量示范数据的系统成为核心问题。

论文的关键思路是通过开发一个手-臂协同遥操作系统来弥合人与机器人之间的动作传递鸿沟。该系统包含一个20自由度仿生机械手和基于优化的运动重定向算法，使得人类复杂的动作可以高保真地实时映射到机器人上。相比以往工作，该方法在结构设计和控制策略上都更加贴近人体工学，并实现了高质量、实时的动作捕捉与执行。

1. 提出了一个集成化的手-臂遥操作系统，具备生物仿生设计与实时控制能力 2. 实验验证了系统的有效性，包括灵巧操作任务以及长周期整理任务（如整理杂乱的化妆台） 3. 系统可生成高质量的人类示范数据，有助于推动机器人模仿学习的发展 4. 作者提供了配套视频展示系统性能，但未提及是否开源代码或发布数据集 5. 未来值得探索的方向包括将此系统用于真实场景中的复杂任务训练及多模态感知融合

1. 「Learning dexterous in-hand manipulation」(OpenAI et al., 2018) 2. 「Human teleoperation of a multi-fingered hand using motion capture gloves」(Zhao et al., 2020) 3. 「Retargeting Human Hand Motion to Robotic Hands via Latent Space Imitation Learning」(Huang et al., 2021) 4. 「Dexterous Manipulation with EMG Control via Muscle-Articulated Models」(Fang et al., 2022) 5. 「Real-time Teleoperation of Dual-arm Robotic Systems Using Full-body Motion Capture」(Lee et al., 2023)