On the Role of the Action Space in Robot Manipulation Learning and Sim-to-Real Transfer

我们研究了机器人操作学习和从仿真到现实的转移中动作空间的选择。我们定义了评估性能的指标，并检查了不同动作空间中出现的特性。我们在模拟的到达和推动任务中使用了13种不同的控制空间，训练了超过250个强化学习（RL）代理。动作空间的选择涵盖了文献中流行的选择以及常见设计特征的新组合。我们评估了在模拟中的训练性能以及转移到现实环境中的表现。我们确定了机器人动作空间的优点和缺点，并为未来的设计提出了建议。我们的研究结果对于设计用于机器人操作任务的RL算法具有重要意义，并强调了在训练和转移RL代理时需要仔细考虑动作空间的必要性。

本论文旨在研究机器人操作学习和模拟到现实的转移中选择行动空间的影响，探讨不同行动空间的性能和特性，并提出未来设计的建议。

论文通过训练超过250个强化学习代理在13个不同的控制空间中进行模拟的推动和到达任务，并评估在模拟和现实环境中的表现，确定机器人行动空间的优劣特性，为机器人操作任务的RL算法设计提供重要启示。

论文中的实验设计包括训练超过250个RL代理在13个不同的控制空间中进行模拟的推动和到达任务，并评估在模拟和现实环境中的表现，提出了行动空间设计的建议。

与本论文相关的研究包括：《Learning Dexterous In-Hand Manipulation》、《Deep Reinforcement Learning for Vision-Based Robotic Grasping: A Simulated Comparative Evaluation of Off-Policy Methods》、《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》等。