Understanding Iterative Combinatorial Auction Designs via Multi-Agent Reinforcement Learning

本文研究了多智能体强化学习（MARL）算法是否可以用于理解迭代组合拍卖，因为这些算法最近在其他几个领域已经表现出实证成功。迭代组合拍卖在高风险环境下广泛使用，例如频谱拍卖。这样的拍卖很难分析，使得投标人很难确定如何行事，设计者难以优化拍卖规则以确保高收入或福利等期望结果。研究发现，MARL确实可以有助于拍卖分析，但有效部署并不容易。本文首先描述了建模决策，使得生成的游戏具有可处理性，同时不会牺牲重要特征，例如不完美的信息或投标人之间的不对称性。我们还讨论了如何避免各种MARL算法的陷阱，如何克服验证收敛的挑战，以及如何生成和解释多个均衡。我们通过使用该方法来评估时钟拍卖的特定规则变更来说明其潜力，发现由于投标人行为的复杂变化而导致显著不同的拍卖结果。

本文旨在探究多智能体强化学习（MARL）算法是否可以用于理解迭代组合拍卖，并验证其在拍卖分析中的效果。

本文提出了一种保持游戏可行性、不牺牲重要特征的建模决策，并探讨了如何避免各种MARL算法的陷阱、如何克服验证收敛性的挑战，以及如何生成和解释多个均衡的方法。

实验结果表明，MARL算法可以用于拍卖分析，但是有效部署并不简单。本文使用MARL算法评估了时钟拍卖的一个具体规则变化，发现拍卖结果因竞标者行为的复杂变化而大不相同。

近年来，也有其他相关研究，如《Multi-agent reinforcement learning: An overview》、《An analysis of multi-agent Q-learning》等。