【标题】Multi-Provider NFV Network Service Delegation via Average Reward Reinforcement Learning

【作者团队】Bahador Bakhshi, Josep Mangues-Bafalluy, Jorge Baranda

【发表日期】2021.12.24

【论文链接】https://arxiv.org/pdf/2112.13093.pdf

【推荐理由】在多提供商5G/6G网络中，服务委托使管理域能够联合提供NFV网络服务。准入控制是选择适当部署域的基础，以便在事先不知道服务请求统计分布的情况下最大化平均利润。本文从多方面分析了服务委托的通用联邦契约模型。首先，在已知系统动力学的假设下，通过将接纳控制问题公式化为无限时域马尔可夫决策过程(MDP)并通过动态规划求解，得到理论上最优的性能界。其次，当到达率和离开率未知时，本文应用强化学习来实际解决问题。当Q学习使折扣奖励最大化时，由于它对折扣因子的敏感性，研究表明它不是有效的解决方案。然后，本文提出了平均奖励强化学习方法(R-Learning)来寻找直接使平均利润最大化的策略。最后，通过广泛的模拟和使用5Growth平台的实验来评估不同的解决方案。结果表明所提出的R-学习方案总是优于Q-学习和贪婪策略。此外，尽管在理想的模拟环境中最优性差距最多为9%，但它在实验评估中与MDP解类似。

内容中包含的图片若涉及版权问题，请及时与我们联系删除