【标题】LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning

【作者团队】Mingyu Yang, Jian Zhao, Xunhan Hu, Wengang Zhou, Houqiang Li

【发表日期】2022.5.5

【论文链接】https://arxiv.org/pdf/2205.02561.pdf

【推荐理由】协同多智能体强化学习（MARL）近年来取得了显着进展。为了训练效率和可扩展性，大多数 MARL 算法使所有代理共享相同的策略或价值网络。为了平衡训练的复杂性和代理行为的多样性，本文提出了一种新的框架来学习协作 MARL 中的动态子任务分配 (LDSA)。即通过一个子任务编码器，它根据每个子任务的身份为每个子任务构建一个向量表示。为了合理地将智能体分配给不同的子任务，提出了一种基于能力的子任务选择策略，可以动态地将具有相似能力的智能体分组到同一个子任务中。然后根据其表示来调节子任务策略，处理相同子任务的智能体分享其经验来训练子任务策略。进一步引入了两个正则化器来增加子任务之间的表示差异，并避免代理频繁更改子任务以分别稳定训练。实证结果表明，LDSA 学习了合理有效的子任务分配，以实现更好的协作，并显着提高了具有挑战性的星际争霸 II 微观管理基准的学习性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除