【标题】Hierarchical Decentralized Deep Reinforcement Learning Architecture for a Simulated Four-Legged Agent

【作者团队】W. Zai El Amri, L. Hermes, M. Schilling

【发表日期】2022.9.21

【论文链接】https://arxiv.org/pdf/2210.08003.pdf

【推荐理由】有腿运动在自然界中很普遍，并启发了当前机器人的设计。 这些有腿机器人的控制器通常实现为一个集中式实例。 然而，在自然界中，对运动的控制以等级和分散的方式发生。 将这些生物设计原理引入机器人控制系统激发了这项工作。 本文解决了分散和分层控制是否对有腿机器人有益的问题，并提出了一种新颖的分散、分层架构来控制模拟有腿智能体。 设计了三个复杂程度不同的不同任务来对五种架构（集中式、分散式、分层和分层分散式架构的两种不同组合）进行基准测试。 结果表明，分散层次结构的不同级别有助于智能体的学习，确保更节能的运动以及对新的看不见的环境的鲁棒性。 此外，这种比较揭示了模块化在层次结构中解决复杂的目标导向任务的重要性。