【标题】Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents

【作者团队】Jian Zhao, Youpeng Zhao, Weixun Wang, Mingyu Yang, Xunhan Hu, Wengang Zhou, Jianye Hao, Houqiang Li

【发表日期】2022.3.16

【论文链接】https://arxiv.org/pdf/2203.08454.pdf

【推荐理由】多智能体强化学习在实践中难以应用，部分原因是模拟场景与现实场景之间存在差距。造成差距的一个原因是模拟系统总是假设智能体可以一直正常工作，而在实践中，由于不可避免的硬件或软件故障，一个或多个智能体可能会在协调过程中意外“崩溃”。从而导致性能下降。本文提出了具有意外崩溃的协作多智能体强化学习系统的形式化描述。为增强系统对崩溃的鲁棒性，其提出了教练辅助的多智能体强化学习框架，它引入了虚拟教练代理来调整训练期间的崩溃率。通过为教练代理设计了三种教练策略和重新采样策略。此工作是首次研究多智能体系统中意外崩溃的研究。与固定崩溃率策略和课程学习策略相比，网格世界和星际争霸 II 微观管理任务的大量实验证明了自适应策略的有效性。消融研究进一步说明了该研究重新采样策略的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除