ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners

在有不后悔追随者的限制下，两个玩家在史塔克伯格博弈中是否仍会达到史塔克伯格均衡？我们首先展示当追随者策略为奖励平均或转化奖励平均时，两个玩家总能达到史塔克伯格均衡。然后，我们扩展了这个结论，表明在无后悔约束下，两个玩家也能在双人博弈中达到史塔克伯格均衡。此外，我们展示了追随者在有无不后悔约束时效用差异的严格上界。此外，在具有非后悔行动序列的常和双人史塔克伯格博弈中，我们确保了游戏的总最优效用也保持有限。

在两人Stackelberg博弈中，如果遵循无悔跟随者的约束，玩家是否仍然会达到Stackelberg均衡？

当跟随者的策略是奖励平均或转换奖励平均时，两个玩家总是可以达到Stackelberg均衡。在无悔约束下，玩家也可以实现两人博弈的Stackelberg均衡。此外，论文还提出了跟随者效用差异的严格上界，并确保了在非遗憾动作序列的常和两人Stackelberg博弈中，游戏的总最优效用也保持有界。

论文设计了实验来验证其理论结果，使用了不同的数据集，并提供了开源代码。此外，该论文的研究结果对于博弈理论和机器学习领域都具有重要意义。

在最近的相关研究中，有一些论文探讨了Stackelberg博弈中的跟随者问题，例如“Stackelberg博弈中的无悔跟随者策略”（作者：Y. Chen等），以及“无悔学习与Stackelberg博弈”（作者：Z. Wang等）。