MRSch: Multi-Resource Scheduling for HPC

新兴的高性能计算(HPC)工作负载正在接受重大变革，例如不再以CPU为中心，而是具有多样化的资源需求。这种进步迫使集群调度程序在决策过程中考虑多个可调度资源。现有的调度研究依赖于启发式或优化方法，这些方法受到无法适应新情况以确保长期调度性能的限制。我们提出了一种名为MRSch的智能调度代理，用于HPC中的多资源调度，它利用了直接未来预测(DFP)，这是一种先进的多目标强化学习算法。虽然DFP在游戏竞赛中表现出色，但在HPC调度的背景下尚未被探索。在本研究中开发了几个关键技术来解决多资源调度所涉及的挑战。这些技术使MRSch能够自动学习适当的调度策略，并通过动态资源优先级来动态适应工作负载变化。我们通过广泛的跟踪库模拟将MRSch与现有的调度方法进行比较。我们的结果表明，与现有的调度方法相比，MRSch提高了最多48%的调度性能。

解决问题：论文旨在解决高性能计算中多资源调度的问题，通过使用直接未来预测（DFP）的多目标强化学习算法来实现智能调度。

关键思路：文章提出了一种名为MRSch的智能调度代理，利用DFP算法实现多资源调度。该算法可以自动学习适当的调度策略，并通过动态资源优先级调整策略以适应工作负载的变化。

其他亮点：论文通过广泛的追踪基础仿真，将MRSch与现有调度方法进行了比较。结果表明，相比现有调度方法，MRSch可以提高48%的调度性能。值得关注的是，DFP算法在游戏竞赛中表现出色，但在高性能计算领域尚未得到广泛应用。论文的实验设计详细，使用了多个数据集，但未提供开源代码。

相关研究：在这个领域中，最近的相关研究包括使用机器学习方法来优化调度问题的研究，以及使用强化学习算法来解决调度问题的研究。其中一些研究包括“Machine Learning for Scheduling: A Literature Review”和“Deep Reinforcement Learning for Scheduling in Multi-Resource Clusters”。