Learning to Beat ByteRL: Exploitability of Collectible Card Game Agents

尽管扑克作为一类游戏在过去几十年中得到了广泛研究，但收集卡牌游戏却鲜有关注。直到最近，我们才看到了一款能够与职业人类玩家竞争的代理程序，这款游戏是最受欢迎的收集卡牌游戏之一——《炉石传说》。虽然人工智能代理程序必须能够处理这两种类型游戏中的不完美信息，但是收集卡牌游戏还面临着一系列独特的挑战。与许多扑克变体不同，代理程序必须处理状态空间，其规模如此之大，以至于即使枚举所有与代理程序信念一致的状态也是不可行的，这使得当前的搜索方法无法使用，需要代理程序采用其他技术。在本文中，我们研究了这类游戏中这种技术的优势。具体而言，我们展示了ByteRL的初步分析结果，这是《代码与魔法》和《炉石传说》中最先进的代理程序。虽然ByteRL击败了中国前十名的《炉石传说》玩家，但我们展示了它在《代码与魔法》中的游戏策略是极易被利用的。

论文旨在研究集换式卡牌游戏中人工智能代理的强度，探索解决这类游戏中的挑战和问题。

论文提出了一种新的技术方案，以解决集换式卡牌游戏中代理面临的巨大状态空间和不完美信息的问题。该方案使用了一些其他技术，如模拟、强化学习和神经网络等。

论文的实验结果表明，ByteRL是目前在Legends of Code and Magic和Hearthstone中表现最好的人工智能代理之一，甚至能够击败中国排名前十的Hearthstone玩家。然而，ByteRL在Legends of Code and Magic中的表现容易被攻击者利用。论文还提供了一些值得进一步研究的方向，如如何在这类游戏中实现更好的代理性能。

最近的相关研究包括使用深度强化学习来解决集换式卡牌游戏中的问题，如《Deep Reinforcement Learning for Magic: The Gathering》和《A Deep Reinforcement Learning Framework for the Hearthstone Deckbuilding Problem》。