【标题】GMI-DRL: Empowering Multi-GPU Deep Reinforcement Learning with GPU Spatial Multiplexing

【作者团队】Yuke Wang, Boyuan Feng, Zheng Wang, Tong Geng, Ang Li, Yufei Ding

【发表日期】2022.6.16

【论文链接】https://arxiv.org/pdf/2206.08482.pdf

【推荐理由】随着机器人技术在工业控制和自动驾驶领域的日益普及，深度强化学习（DRL）引起了各个领域的关注。然而，由于其异构的工作负载和交错的执行模式，在现有功能强大的GPU平台上进行DRL计算仍然效率低下。为此，本文提出了GMI-DRL，通过GPU空间复用加速多GPU DRL的系统设计。基于一种新的资源可调GPU复用实例（GMI）设计，以满足DRL任务的实际需要，一种自适应GMI管理策略，以同时实现高GPU利用率和计算吞吐量，以及一种高效的GMI间通信支持，以满足各种DRL通信模式的需求。综合实验表明，GMI-DRL在最新DGX-A100平台上的训练吞吐量方面优于最先进的NVIDIA Isaac Gym，NCCL（高达2.81倍）和Horovod（高达2.34倍）支持。该研究通过 GPU 空间多路复用处理混合计算和通信的异构工作负载提供了初始用户体验。

内容中包含的图片若涉及版权问题，请及时与我们联系删除