MACCA: Offline Multi-agent Reinforcement Learning with Causal Credit Assignment

离线多智能体强化学习（MARL）在在线交互不切实际或有风险的情况下非常有价值。虽然MARL中的独立学习提供了灵活性和可扩展性，但在离线设置中准确地为各个智能体分配学分存在挑战，因为与环境的交互被禁止。在本文中，我们提出了一个新的框架，即多智能体因果学分分配（MACCA），以解决离线MARL设置中的学分分配问题。我们的方法MACCA将生成过程描述为动态贝叶斯网络，捕捉环境变量、状态、动作和奖励之间的关系。通过在离线数据上估计这个模型，MACCA可以通过分析各个智能体的个体奖励的因果关系来学习每个智能体的贡献，从而确保准确和可解释的学分分配。此外，我们的方法的模块化使其可以无缝地与各种离线MARL方法集成。理论上，我们证明了在离线数据集的设置下，潜在的因果结构和生成智能体个体奖励的函数是可识别的，这为我们建模的正确性奠定了基础。在我们的实验中，我们证明了MACCA不仅优于最先进的方法，而且在与其他骨干集成时提高了性能。

解决问题：该论文旨在解决离线多智能体强化学习（MARL）中的信用分配问题，提出了一种新的框架Multi-Agent Causal Credit Assignment（MACCA），以准确地分配信用给每个代理。

关键思路：该论文提出了一种新的方法MACCA，通过建立动态贝叶斯网络来捕捉环境变量、状态、行动和奖励之间的关系，从而分析每个代理的贡献，并确保准确和可解释的信用分配。

其他亮点：该论文的方法在实验中表现出色，不仅优于现有方法，而且与其他基础结构集成后可以提高性能。此外，该方法的模块化使其可以与各种离线MARL方法无缝集成。论文还证明了在离线数据集的设置下，潜在的因果结构和生成个体奖励的函数是可识别的，为我们的建模正确性奠定了基础。

相关研究：最近的相关研究包括“Offline Multi-Agent Reinforcement Learning: A Survey”和“Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms”等。