MRSch: Multi-Resource Scheduling for HPC

新兴的高性能计算（HPC）工作负载正在接受重大变革，例如，它们具有不同的资源需求，而不是以CPU为中心。这种进步迫使集群调度程序在决策时考虑多个可调度资源。现有的调度研究依赖于启发式或优化方法，这些方法受限于无法适应新情况以确保长期调度性能。我们提出了一个名为MRSch的智能调度代理，用于HPC中的多资源调度，它利用直接未来预测（DFP），这是一种先进的多目标强化学习算法。虽然DFP在游戏竞赛中表现出色，但它以前尚未在HPC调度的上下文中探索过。本研究开发了几个关键技术来解决多资源调度中涉及的挑战。这些技术使MRSch能够自动学习适当的调度策略，并通过动态资源优先级调整其策略以响应工作负载变化。我们通过广泛的跟踪基础模拟将MRSch与现有的调度方法进行比较。我们的结果表明，与现有的调度方法相比，MRSch将调度性能提高了高达48％。

解决问题的是多资源高性能计算中的调度问题，如何根据不同资源需求进行调度？

提出了一种基于直接未来预测（DFP）的智能调度代理MRSch，利用多目标强化学习算法来自动学习适当的调度策略，并通过动态资源优先级调整来动态适应工作负载变化。

通过大量的追踪模拟，与现有调度方法进行比较，结果表明MRSch相比现有调度方法可以提高高达48％的调度性能。

与多资源调度相关的研究包括：1. An Energy-Aware Multi-Objective Scheduling Heuristic for Heterogeneous Computing Systems；2. Multi-Resource Scheduling with Task Co-Allocation on Heterogeneous Computing Systems；3. A Hybrid Approach to Multi-Resource Scheduling in High-Performance Computing Systems.