Reinforcement Learning for High-Level Strategic Control in Tower Defense Games

在策略游戏中，游戏设计中最重要的方面之一是保持玩家的挑战感。许多移动游戏具有快速的游戏循环，允许玩家稳步进展，需要大量的关卡和谜题，以防止他们太快地到达游戏的结尾。与任何内容创作一样，测试和验证对于确保有趣的游戏机制、愉悦的游戏资源和可玩的关卡至关重要。在本文中，我们提出了一种可以结合传统的脚本方法和强化学习进行游戏测试和验证的自动化方法，同时利用两种方法的优点，类似于人类玩家一样适应新情况。我们在流行的塔防游戏《植物大战僵尸》上测试了我们的解决方案。结果显示，将学习方法（如强化学习）与脚本化AI相结合，可以产生比仅使用启发式AI更高效和更强大的代理，成功率达到57.12％，而40个关卡中仅使用启发式AI的成功率为47.95％。此外，结果还展示了训练此类类似谜题的游戏的通用代理的困难程度。

论文试图通过结合传统的脚本方法和强化学习的学习方法来进行游戏测试和验证，以提高游戏的挑战性和玩家的体验。同时，尝试训练一个通用的代理来解决这类谜题游戏的问题。

论文的关键思路是将传统的脚本方法和强化学习方法相结合，以提高游戏代理的性能和稳健性。

论文在流行的塔防游戏植物大战僵尸上进行了实验，结果表明使用结合学习方法和脚本AI的代理比仅使用启发式AI的代理性能更好，成功率提高了9.17%。此外，实验还展示了训练通用代理的难度。

在这个领域中，最近的相关研究包括使用深度强化学习来解决游戏AI问题的论文，如《Playing Atari with Deep Reinforcement Learning》和《Mastering the game of Go with deep neural networks and tree search》。