Enhancing Cooperation through Selective Interaction and Long-term Experiences in Multi-Agent Reinforcement Learning

网络结构在促进社会困境中群体合作方面的重要性已得到广泛认可。以前的研究将这种促进归因于由空间交互驱动的策略分类。尽管强化学习已被用于研究动态交互对合作演化的影响，但仍缺乏关于代理人如何发展邻居选择行为和显式交互结构内战略分类形成的理解。为了解决这个问题，我们的研究引入了一个基于多智能体强化学习的计算框架，应用于空间囚徒困境游戏。这个框架允许代理人根据他们的长期经验选择困境策略和互动邻居，不同于现有研究依赖于预设的社会规范或外部激励。通过使用两个不同的Q网络对每个代理建模，我们分离了合作和互动之间的共同进化动态。结果表明，长期经验使代理人能够发展识别非合作邻居并展示与合作邻居互动的偏好的能力。这种新兴的自组织行为导致具有类似策略的代理人聚集在一起，从而增加了网络互惠性并增强了群体合作。

研究多智能体强化学习在社会困境中促进合作的作用，探究智能体如何发展邻居选择行为和策略分布

引入基于多智能体强化学习的计算框架，使智能体基于长期经验选择策略和交互邻居，通过使用两个Q网络模型每个智能体，实现合作和交互的协同演化，从而促进群体合作

实验结果表明，长期经验使智能体能够识别非合作邻居并倾向于与合作邻居交互，从而导致策略相似的智能体聚集在一起，增加网络互惠性，提高群体合作水平

与该研究相关的其他论文包括：1. Spatial structure promotes the evolution of helping behaviors 2. Reinforcement learning in social dilemmas: the effect of dynamic neighborhood structure