Discrete-Time Hybrid Automata Learning: Legged Locomotion Meets Skateboarding

本文介绍了离散时间混合自动机学习（DHAL），这是一种使用基于策略的强化学习框架来识别和执行模式切换的方法，无需轨迹分割或事件函数学习。混合动力系统包括连续流和离散模式切换，可以用于建模诸如足式机器人运动等机器人任务。基于模型的方法通常依赖于预定义的步态，而非基于模型的方法则缺乏明确的模式切换知识。现有方法通过先进行分割再回归连续流来识别离散模式，但不借助轨迹标签或分割学习高维复杂刚体动力学是一个具有挑战性的开放问题。我们的方法结合了贝塔策略分布和多批评家架构来模拟接触引导的动作，以一个具有挑战性的四足机器人滑板任务为例。我们通过仿真和实际测试验证了该方法的有效性，展示了其在混合动力系统中的稳健性能。

该论文试图解决在高维复杂刚体动力学中，无需轨迹标签或分割的情况下学习离散模式切换的问题。这是一个具有挑战性的开放问题，尤其是在处理像四足机器人滑板这样的复杂任务时。

论文的关键思路是引入了离散时间混合自动机学习（DHAL）框架，利用基于策略的强化学习来识别和执行模式切换，而不需要轨迹分割或事件函数学习。相比现有方法，这种方法通过结合beta策略分布和多批评家架构，直接从数据中学习连续流和离散模式切换，从而避免了预定义步态的依赖，并且提供了明确的模式切换知识。

论文的主要亮点包括：1) 使用beta策略分布和多批评家架构来建模接触引导的动作；2) 通过模拟和真实世界测试验证了方法的有效性；3) 在四足机器人滑板任务上展示了鲁棒性能；4) 提出了一个新颖的框架，能够处理复杂的混合动力系统，而无需依赖传统的轨迹分割或事件函数学习。此外，该研究为未来的研究提供了方向，特别是在改进模型泛化能力和实际应用中的稳定性方面。

最近在这个领域中，相关研究包括《Learning Hybrid Models for Safe and Efficient Robot Locomotion》、《Event-Triggered Learning for Legged Robots》和《Deep Reinforcement Learning of Periodic Legged Locomotion in the Presence of Large Disturbances》。这些研究主要集中在使用深度强化学习来改进机器人运动的周期性和安全性，但大多数仍依赖于预定义的步态或事件触发机制。