An Efficient Learning Control Framework With Sim-to-Real for String-Type Artificial Muscle-Driven Robotic Systems

机器人系统由人工肌肉驱动，由于执行器的非线性动力学和机械结构的复杂设计，这些系统面临着独特的挑战。传统的基于模型的控制器在这种系统中往往难以实现所需的控制性能。深度强化学习（DRL）是一种流行的机器学习技术，在机器人控制中得到了广泛应用，提供了一种有前途的替代方案。然而，将DRL集成到这些机器人系统中面临着重大挑战，包括需要大量的训练数据以及在实际机器人部署时不可避免的模拟到现实的差距。本文提出了一种高效的强化学习控制框架，具有模拟到现实的转移，以解决这些挑战。引入了引导和增强增强的改进，以提高基线DRL算法的数据效率，同时采用肌肉动力随机化的模拟到现实转移技术，以弥合模拟和实际部署之间的差距。利用两个串式人工肌肉驱动的机器人系统（包括两自由度机器人眼和并联机器人手腕）进行了广泛的实验和消融研究，结果表明了所提出的学习控制策略的有效性。

如何在人工肌肉驱动的机器人系统中应用深度强化学习控制？如何解决数据效率和模拟到实际机器人的转移问题？

提出了一种高效的深度强化学习控制框架，结合Bootstrap、数据增强和肌肉动力学的随机化等技术，有效提高了基线DRL算法的数据效率，并通过模拟到实际机器人的转移技术，成功地将学习到的控制策略应用到两种人工肌肉驱动的机器人系统上。

论文采用了Bootstrap和数据增强等技术，提高了DRL算法的数据效率；通过肌肉动力学的随机化，成功地将学习到的控制策略应用到实际机器人系统上；实验结果表明，该方法在两种人工肌肉驱动的机器人系统上均取得了良好的控制效果。

近期相关研究包括：'Deep Reinforcement Learning in Robotics: A Survey'、'Sim-to-Real Transfer for Robotic Control: A Survey'、'Data-Efficient Reinforcement Learning for Dexterous Manipulation Using Prior Information'等。