DexterityGen: Foundation Controller for Unprecedented Dexterity

教授机器人灵活的操作技能，例如工具使用，是一个重大的挑战。目前的方法大致可以分为两种策略：人类远程操作（用于模仿学习）和模拟到现实的强化学习。第一种方法很难，因为人类在没有触觉反馈的情况下难以在不同的实体上产生安全且灵活的动作。第二种基于强化学习（RL）的方法则在领域差距方面遇到困难，并且在复杂任务中需要高度特定的任务奖励设计。我们的关键见解是，强化学习在学习低级别的动作基元方面非常有效，而人类在为复杂、长期的任务提供粗略的动作指令方面表现出色。因此，最优解决方案可能是这两种方法的结合。 在本文中，我们介绍了DexterityGen（简称DexGen），它使用强化学习来预训练大规模的灵活动作基元，例如手内旋转或平移。然后，我们利用这个学习到的数据集来训练一个灵活的基础控制器。在现实世界中，我们使用人类远程操作作为控制器的提示，以生成高度灵活的行为。我们在模拟环境和现实世界中评估了DexGen的有效性，证明它是一个通用控制器，能够实现输入的灵活动作命令，并将稳定性提高了10到100倍，这通过保持物体的时间长度在各种任务中测量得出。值得注意的是，借助DexGen，我们展示了前所未有的灵活动作技能，包括多样化的物体重新定向和灵巧的工具使用，如笔、注射器和螺丝刀，这是首次实现。

该论文试图解决机器人在执行精细操作技能（如工具使用）时面临的挑战。现有的方法主要分为两类：人类远程操作（用于模仿学习）和模拟到现实的强化学习（RL）。前者由于缺乏触觉反馈，难以实现安全且灵巧的动作；后者则面临领域差距和复杂任务中的奖励工程问题。这是否是一个新问题？虽然机器人灵巧操作的研究已经存在，但同时结合两种方法以克服各自局限性，并实现前所未有的灵巧技能，是相对新颖的方向。

关键思路在于利用强化学习（RL）预先训练大规模的精细动作基元（如手中旋转或平移），然后使用这些预训练的数据集来训练一个基础控制器。在实际应用中，通过人类远程操作作为提示，使控制器能够产生高度精细的行为。相比当前领域的研究状况，这种结合人类高层指令与机器低层运动基元的方法是一种创新，它充分利用了人类在复杂任务规划上的优势和RL在低级动作控制上的能力。

论文展示了DexGen作为一个通用控制器，在接收精细操作命令后能显著提高稳定性（10-100倍），并首次实现了多种物体重新定向及工具使用（如笔、注射器、螺丝刀）。实验设计包括仿真和真实世界测试，验证了方法的有效性和泛化能力。此外，作者提供了开源代码，鼓励社区进一步探索和发展。

最近在这个领域内的相关研究包括：1. 'Learning Dexterous In-Hand Manipulation' - 使用深度学习进行手部操作；2. 'Teleoperation of Robotic Hands with Virtual Reality' - 结合虚拟现实技术进行远程操作；3. 'Sim-to-Real Transfer for Robot Manipulation' - 研究如何将模拟环境中的学习成果转移到现实世界。这些研究共同推动了机器人灵巧操作的进步。