Deep Reinforcement Learning for Sequential Combinatorial Auctions

收益最优拍卖设计是一个具有重要理论和实践意义的挑战性问题。顺序拍卖机制因其简单和强大的策略证明保证而闻名，但通常受到理论结果的限制，这些结果在很大程度上是存在性的，除了某些限制性设置。虽然传统的强化学习方法，如Proximal Policy Optimization（PPO）和Soft Actor-Critic（SAC）在这个领域是适用的，但在处理大规模和连续的行动空间时，它们往往面临计算需求和收敛问题。鉴于此，并认识到我们可以为我们的设置建模可微分的转换，我们提出了一种针对顺序组合拍卖的新的强化学习框架，利用一阶梯度。我们广泛的评估表明，我们的方法在收益方面显著优于分析基线和标准强化学习算法。此外，我们将我们的方法扩展到涉及50个代理和50个物品的场景，展示了它在复杂的现实拍卖设置中的适用性。因此，这项工作推进了拍卖设计可用的计算工具，并有助于弥合顺序拍卖设计中理论结果和实际实现之间的差距。

本论文旨在解决顺序组合拍卖中的收入最优拍卖设计问题，提出了一种新的强化学习框架，以利用一阶梯度来加速计算和提高收益。

本论文提出了一种新的强化学习框架，该框架利用可微分的转移模型来处理大型和连续的行动空间，并通过一阶梯度来加速计算和提高收益。

本论文的实验结果表明，与传统的分析基线和标准强化学习算法相比，该方法在收益方面取得了显着的改进，并且在涉及多达50个代理和50个物品的情况下进行了扩展，证明了其在复杂实际拍卖中的适用性。此外，该论文还提供了数据集和开源代码。

在顺序组合拍卖的相关研究中，已经有许多相关的工作，如《Optimal Auction Design for Multi-Item Auctions》、《Combinatorial Auctions》等。