FDQN: A Flexible Deep Q-Network Framework for Game Automation

在强化学习中，自动化高维度、快速决策动态环境下的任务往往很困难，特别是当领域需要实时在线交互和自适应策略，例如基于Web的游戏。本文提出了一个最先进的灵活深度Q网络（Flexible Deep Q-Network，FDQN）框架，可以通过自适应方法处理高维度感知数据，使用CNN实时动态调整模型架构以适应不同游戏环境的行动空间，并在各种Atari游戏和Chrome恐龙游戏中超越以前的基准模型。使用epsilon-greedy策略，它有效地平衡了新的学习和利用，以提高性能，并且它具有模块化结构，可以轻松地适应其他基于HTML的游戏，而不需要触及框架的核心部分。本文展示了FDQN框架可以成功解决实验室条件下的明确定义任务，但更重要的是它还讨论了应用于更具挑战性的现实世界情况的潜在应用，并作为未来自动游戏玩耍及其他领域探索的起点。

论文试图解决如何在高维度、动态环境下自适应地处理实时决策，特别是在需要实时在线交互和自适应策略的领域，如基于Web的游戏中。

论文提出了一种灵活的深度Q网络（FDQN）框架，使用卷积神经网络实时处理高维感官数据，并动态调整模型架构以适应不同游戏环境的行动空间，使用epsilon-greedy策略平衡新学习和利用，具有模块化结构，易于适应其他基于HTML的游戏。

实验结果表明，FDQN框架可以在各种Atari游戏和Chrome Dino游戏中胜过以前的基准模型。论文还探讨了FDQN框架在实际应用中的潜在应用，并且可以作为自动游戏玩法和其他领域的未来研究的起点。

近期相关研究包括：《Playing Atari with Deep Reinforcement Learning》、《Human-level control through deep reinforcement learning》等。