DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach

人工智能的快速发展引入了基于深度神经网络（DNN）的任务到车联网生态系统中。这些任务通常需要大量计算资源，超出了单个车辆的能力范围。为了解决这个挑战，车辆边缘计算（VEC）作为一种解决方案应运而生，通过车对车/车对基础设施（V2V/V2I）通信进行资源池化，为DNN任务提供计算服务。在本文中，我们将VEC中的联合DNN分区、任务卸载和资源分配问题建模为动态长期优化问题。我们的目标是在保证系统稳定性的同时，最小化基于DNN的任务完成时间。为此，我们首先利用Lyapunov优化技术将原始的长期优化问题与稳定性约束分解为每个时隙的确定性问题。然后，我们提出了一种多智能体扩散型深度强化学习（MAD2RL）算法，结合了扩散模型的创新使用来确定最佳的DNN分区和任务卸载决策。此外，我们将凸优化技术作为子例程集成到MAD2RL中，以分配计算资源，提高学习效率。通过在真实世界车辆移动轨迹下的模拟，我们展示了我们提出的算法相对于现有基准解决方案的卓越性能。

本文解决的问题是如何在车联网中通过V2V/V2I通信实现深度神经网络（DNN）计算任务的资源池化，从而提高计算效率。

本文提出了一个动态长期优化的问题，通过Lyapunov优化技术将其分解为每个时隙的确定性问题，并结合多智能体扩散深度强化学习（MAD2RL）算法和凸优化技术来实现DNN分区、任务卸载和资源分配的最优决策。

本文的亮点包括使用Lyapunov优化技术将长期优化问题分解为每个时隙的确定性问题，使用MAD2RL算法结合扩散模型来实现DNN分区和任务卸载的最优决策，并将凸优化技术作为子例程来提高学习效率。实验结果表明，该算法在真实世界车辆移动轨迹下的表现优于现有的基准解决方案。

近期的相关研究包括“Vehicular edge computing: Survey and research challenges”和“Joint optimization of computation, communication, caching, and control in vehicular networks: A deep reinforcement learning approach”等论文。