LOQA: Learning with Opponent Q-Learning Awareness

在各种现实场景中，代理之间的交互通常类似于一般和博弈的动态，每个代理都努力优化自己的效用。尽管这种设置的普遍相关性，但分散式机器学习算法一直难以找到最大化个体效用同时保持社会福利的均衡状态。在本文中，我们介绍了一种新颖的分散式强化学习算法——对手Q学习意识学习（LOQA），它旨在优化代理的个体效用，同时在部分竞争环境中促进对手之间的合作。LOQA假设对手按其行动价值函数Q比例采样行动。实验结果证明了LOQA在迭代囚徒困境和硬币游戏等基准场景中实现了最先进的性能。LOQA实现了这些结果，同时显著减少了计算资源，使其成为实际多代理应用的有前途的方法。

解决问题：论文旨在解决分散式机器学习算法在多智能体场景中找到最大化个体效用并维持社会福利的均衡的问题。

关键思路：本文提出了一种名为LOQA的分散式强化学习算法，通过对手Q学习意识来优化个体效用并促进对手在部分竞争环境中的合作。

其他亮点：实验结果表明，LOQA在迭代囚犯困境和硬币游戏等基准场景中实现了最先进的性能，同时计算复杂度显著降低，是实际多智能体应用的有前途的方法。

相关研究：在这个领域中，最近的相关研究包括“Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms”和“Learning to Communicate to Solve Riddles with Deep Distributed Recurrent Q-Networks”等。