【IEEE IOTJ 中山大学团队】当深度强化学习遇见联邦学习：5G 超密集网络中的多接入边缘计算的智能多时间尺度资源管理 【论文标题】When Deep Reinforcement Learning Meets Federated Learning: Intelligent Multi-Timescale Resource Management for Multi-access Edge Computing in 5G Ultra Dense Network 【作者团队】Shuai Yu，Xu Chen，Zhi Zhou，Xiaowen Gong， Di Wu 【发表时间】2020/09/22 【论文链接】https://arxiv.org/pdf/2009.10601.pdf

【推荐理由】 本文已被物联网领域顶刊 IEEE IOTJ（中科院 1 区）接收，首次将区块链和联邦学习技术同时应用到了 5G 超高密度边缘计算网络中，实现了实时、隐私保护、低开销的计算分流决策和资源分配。

近年来，随着智能设备数量的迅速增长，智能城市、医疗系统和智能汽车等应用场景对物联网设备的能力和连通性提出了挑战。移动多接入边缘计算（MEC）能够增强新兴资源密集型物联网应用的能力。但是，由于随时间变化的网络环境以及网络设备资源的异构性，很难实现边缘设备与边缘服务器之间稳定、可靠、实时的交互。在 5G 时代，超密集边缘计算有填补这一空白的潜力。

然而，其目前的解决方案仍面临诸多挑战： （1）缺乏高效利用多种 5G 资源的能力 （2）却大低成本的分流决策和资源配置策略 （3）缺乏隐私和安全保护方案

为此，本文作者首先提出了智能超密集边缘计算（I-UDEC）框架，将区块链和人工智能技术集成到 5G 超密集边缘计算网络中。为了实现实时和低开销的计算分流决策和资源分配策略，本文作者设计了一种新的双时间尺度的深度强化学习（2Ts-DRL）方法，该包括在较快的时间尺度和一个较慢的时间尺度上的学习过程。本文的主要目标是通过同时优化计算分流、资源分配和服务缓存布局，最小化总体的分流延迟和网络资源使用。为了保护边缘设备的数据隐私，本文作者基于联邦学习技术，通过分布式的方式训练了 2Ts-DRL 模型。仿真实验结果表明，2Ts-DRL和联邦学习技术在 I-UDEC 框架中可行且有效，并且可以减少 31.87% 的任务执行时间。

图 1：超密集网络环境下的智能化超密集边缘计算框架（I-UDEC）
具体而言，本文作者构建了一个由用户层、数据层、控制层组成的 I-UDEC 计算框架，提升了 UDEC 在计算分流、资源配置和服务缓存布局方面的能力。

本文的主要贡献如下： （1）提出了一种智能化超密集边缘计算框架，并形式化定义了其中的异构资源。 （2）由于应用划分、资源分配和服务缓存布局的延迟敏感性不同，本文提出了一种双时间尺度上的深度强化学习方法来联合优化上述问题。 （3）为了保护用户的敏感服务请求信息，本文使用了基于联邦学习的模型训练方式来训练深度强化学习智能体。

内容中包含的图片若涉及版权问题，请及时与我们联系删除