Mean Field Reinforcement Learning

本专著以大规模种群随机控制中具有均值场相互作用和公共噪声的马尔可夫决策过程为切入点，系统介绍了均值场强化学习的基本理论。全书从多智能体强化学习与均值场控制之间的内在联系出发，逐步构建起用于建模典型智能体学习问题所需的概率论、数学及控制论框架；进而深入分析此类典型智能体模型与有限规模种群系统的关联性，并分别对一般性模型与线性二次型模型展开系统研究。内容涵盖动态规划原理、混沌传播极限（propagation-of-chaos limits）、表格型Q学习算法与策略梯度方法的理论分析；同时亦探讨了若干数值实现方案，包括表格型算法以及深度强化学习方法（如深度确定性策略梯度，DDPG）。本书旨在为读者架设一座贯通均值场控制理论与强化学习方法论的连贯桥梁，既突出相关问题的深层数学结构，又着重于面向大规模随机种群设计切实可行、计算可处理的学习算法。

如何为大规模随机人群系统（含均值场相互作用和公共噪声）设计可扩展、数学上严谨的强化学习算法，解决传统多智能体RL在智能体数量庞大时计算不可行、理论分析困难的问题。该问题属于新兴交叉领域——将均值场控制理论与强化学习深度融合，具有理论新颖性与实际必要性。

以代表性智能体（representative agent）建模替代全系统建模，通过传播混沌（propagation-of-chaos）极限建立有限群体MDP与均值场MDP的严格收敛关系；在此基础上，将动态规划原理、Q学习与策略梯度方法系统推广至均值场框架，并统一处理公共噪声下的稳定性与收敛性——这是首次在概率论与随机控制双重严格性下构建端到端的MF-RL理论体系。

首次给出带公共噪声的均值场MDP中tabular Q-learning和策略梯度法的收敛性证明；完整推导线性二次型（LQ-MF）情形的解析最优策略与学习算法；提供MATLAB/Python实现的tabular求解器及PyTorch版Deep DPG代码（开源于GitHub）；数值实验涵盖交通流调度与电网负荷协同等典型大规模随机控制场景；值得深入的方向包括：非交换对称性下的异构MF-RL、离线MF-RL的数据效率边界、以及MF-RL在联邦学习架构中的分布式实现。

1. 'Mean Field Multi-Agent Reinforcement Learning' (Yang et al., ICML 2018); 2. 'Learning in Mean-Field Games' (Guo et al., NeurIPS 2019); 3. 'Reinforcement Learning for Mean Field Control' (Cui & Koeppl, CDC 2021); 4. 'Deep Mean Field Games' (Ruthotto et al., IEEE TPAMI 2022); 5. 'Stochastic Control with Common Noise: A BSDE Approach' (Carmona & Lacker, Annals of Applied Probability 2015)