Correlated Mean Field Imitation Learning

我们在均值场博弈（MFG）框架下研究多智能体模仿学习（IL），考虑到存在时变相关信号。现有的MFG IL算法假设演示样本来自均值场纳什均衡（MFNE），限制了它们适用于现实世界的场景。例如，在受公共路由建议影响的交通网络均衡中，建议引入了时变相关信号进入游戏，而这些信号并未被MFNE和其他现有的相关均衡概念所捕捉。为了解决这个问题，我们提出了自适应均值场相关均衡（AMFCE），这是一个包含时变相关信号的一般均衡。我们在温和条件下证明了AMFCE的存在，并证明MFNE是AMFCE的一个子类。我们进一步提出了相关均值场模仿学习（CMFIL），这是一个新的IL框架，旨在恢复AMFCE，并附带了一个关于恢复策略质量的理论保证。实验结果，包括一个实际的交通流预测问题，证明了CMFIL在理解受相关信号影响下的大规模人口行为方面优于现有的IL基线，突显了CMFIL的潜力。

本文旨在解决多智能体模仿学习中存在的时间变化相关信号的问题，该问题在现实世界中经常出现。现有的均场博弈模型假设演示是从均场纳什平衡中采样的，这限制了它们在适应现实世界场景方面的能力。

本文提出了自适应均场相关均衡（AMFCE）的概念，以解决时间变化相关信号的问题，并建立了AMFCE的存在性。此外，提出了一种新的均场模仿学习框架——相关均场模仿学习（CMFIL），旨在恢复AMFCE，并在理论上保证了恢复策略的质量。

本文的实验结果包括一个真实的交通流预测问题，证明了CMFIL相对于现有的均场模仿学习基线的优越性，凸显了CMFIL在理解相关信号下的大规模人群行为方面的潜力。

最近的相关研究包括“Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms”和“Learning Multiagent Communication with Backpropagation”。