EdgeTimer: Adaptive Multi-Timescale Scheduling in Mobile Edge Computing with Deep Reinforcement Learning

在移动边缘计算（MEC）中，资源调度对于任务请求的性能和服务提供商的成本至关重要，涉及多层异构调度决策。现有的调度器通常采用静态时间尺度定期更新每个层的调度决策，而没有为不同层调整时间尺度的自适应调整，这可能导致实际中表现不佳。我们注意到，自适应时间尺度将显著改善操作成本和延迟性能之间的权衡。基于这一洞见，我们提出了EdgeTimer，这是第一个使用深度强化学习（DRL）自动生成自适应时间尺度以更新多层调度决策的工作。首先，EdgeTimer使用三层分层DRL框架将多层决策任务解耦为一组独立的子任务，以提高学习效率。其次，为了处理每个子任务，EdgeTimer采用安全的多智能体DRL算法进行分散调度，同时确保系统可靠性。我们将EdgeTimer应用于广泛的Kubernetes调度规则，并使用具有不同工作负载模式的生产跟踪进行评估。广泛的跟踪驱动实验表明，EdgeTimer可以学习自适应时间尺度，无论工作负载模式和内置调度规则如何，而不会牺牲延迟性能。它的利润比现有方法高出多达9.1倍。

解决问题：本论文旨在解决移动边缘计算中资源调度的问题，提出一种自适应时间尺度的方法，以优化性能和成本之间的平衡。

关键思路：本文提出了一种名为EdgeTimer的自适应时间尺度方法，采用深度强化学习算法来生成多层调度决策的自适应时间尺度，提高决策效率和系统可靠性。

其他亮点：本文采用三层分层式深度强化学习框架和安全的多智能体深度强化学习算法，对Kubernetes调度规则进行了广泛的实验评估，并在不同工作负载模式下获得了高达9.1倍的利润。

相关研究：在移动边缘计算领域，还有一些相关的研究，如《A Survey of Mobile Edge Computing: A New Paradigm for Big Data Processing and Analytics》和《A Survey on Resource Management in Edge Computing》。