智能博弈领域已逐渐成为当前AI研究的热点之一，游戏AI领域、智能兵棋领域都在近年取得了一系列的研究突破。但是，游戏 AI 如何应用到实际的智能作战推演依然面临巨大的困难。综合分析智能博弈领域的国内外整体研究进展，详细剖析智能作战推演的主要属性需求，并结合当前最新的强化学习发展概况进行阐述。从智能博弈领域主流研究技术、相关智能决策技术、作战推演技术难点3个维度综合分析游戏AI发展为智能作战推演的可行性，最后给出未来智能作战推演的发展建议。以期为智能博弈领域的研究人员介绍一个比较清晰的发展现状并提供有价值的研究思路。

http://www.infocomm-journal.com/znkx/article/2022/2096-6652/2096-6652-4-2-00157.shtml

 

引言

以2016年AlphaGo的成功研发为起点，对智能博弈领域的研究获得突飞猛进的进展。2016年之前，对兵棋推演的研究还主要集中在基于事件驱动、规则驱动等比较固定的思路。到2016年，受AlphaGo的启发，研究人员发现智能兵棋、智能作战推演的实现并没有想象得那么遥远。随着机器学习技术的发展，很多玩家十分憧憬游戏中有 AI 加入从而改善自己的游戏体验[1]。同时，在智能作战推演领域，不断发展的机器学习游戏 AI 技术也为智能作战推演的发展提供了可行思路[2]。传统作战推演AI主要以基于规则的AI和分层状态机的AI决策为主，同时以基于事件驱动的机制进行推演[3-4]。然而，随着近些年国内外在各种棋类、策略类游戏领域取得新突破，智能作战推演的发展迎来了新的机遇[5]。

国内游戏 AI 领域取得了标志性的进步。腾讯《王者荣耀》的《觉悟AI》作为一款策略对抗游戏取得了显著成绩，可以击败97%的玩家，并且多次击败顶尖职业团队[6]。网易伏羲人工智能实验室在很多游戏环境都进行了强化学习游戏 AI 的尝试[6]，如《潮人篮球》《逆水寒》《倩女幽魂》。超参数科技（深圳）有限公司打造了游戏AI平台“Delta”，集成机器学习、强化学习、大系统工程等技术，通过将AI与游戏场景结合，提供人工智能解决方案[7]。启元AI“星际指挥官”在与职业选手的对抗中也取得了胜利[8]。北京字节跳动科技有限公司也收购了上海沐瞳科技有限公司和北京深极智能科技有限公司，准备在游戏AI领域发力。除了游戏AI领域，国内在智能兵棋推演领域也发展迅速。国防大学兵棋团队研制了战略、战役级兵棋系统，并分析了将人工智能特别是深度学习技术运用在兵棋系统上需要解决的问题[9]。中国科学院自动化研究所在2017年首次推出《CASIA-先知1.0》兵棋推演人机对抗AI[10]，并在近期上线“庙算·智胜”即时策略人机对抗平台[11]。此外，由中国指挥与控制学会和北京华戍防务技术有限公司共同推出的专业级兵棋《智戎·未来指挥官》在第三届、第四届全国兵棋推演大赛中成为官方指定平台。中国电科认知与智能技术重点实验室开发了MaCA智能博弈平台，也成功以此平台为基础举办了相关智能博弈赛事。南京大学、中国人民解放军陆军工程大学、中国电子科技集团公司第五十二研究所等相关单位也开发研制了具有自主知识产权的兵棋推演系统[12,13,14,15]。2020年，国内举办了4次大型智能兵棋推演比赛，这些比赛对于国内智能博弈推演的发展、作战推演领域的推进具有积极影响。游戏 AI 和智能兵棋的发展也逐渐获得了国内学者的关注，胡晓峰等人[5]提出了从游戏博弈到作战指挥的决策差异，分析了将现有主流人工智能技术应用到战争对抗过程中的局限性。南京理工大学张振、李琛等人利用PPO、A3C算法实现了简易环境下的智能兵棋推演，取得了较好的智能性[16-17]。中国人民解放军陆军工程大学程恺、张可等人利用知识驱动及遗传模糊算法等提高了兵棋推演的智能性[18-19]。中国人民解放军海军研究院和中国科学院自动化研究所分别设计和开发了智能博弈对抗系统，对于国内智能兵棋推演系统的开发具有重要参考价值[20]。中国人民解放军国防科技大学刘忠教授团队利用深度强化学习技术在《墨子•未来指挥官系统》中进行了一系列智能博弈的研究，取得了突出的成果[21]。中国科学院大学人工智能学院倪晚成团队提出一种基于深度神经网络从复盘数据中学习战术机动策略模型的方法，对于智能博弈中的态势认知研究具有重要参考价值[22]。

总体来说，国内在智能博弈领域进行了一系列的研究，尝试将该技术应用到作战推演领域，建立了具有自主产权的博弈平台，技术层面也不断突破，不再局限于传统的行为决策树、专家知识库等，开始将强化学习技术、深度学习技术、遗传模糊算法等引入智能博弈，取得了一系列的关键技术的突破。但是，当前的研究主要聚焦在比较简单的智能博弈环境，对复杂环境及不完全信息的博弈对抗研究仍然需要进一步探索。

国外游戏 AI 领域则取得了一系列突出成果，尤其是深度强化学习技术的不断发展，游戏 AI 开始称霸各类型的游戏[23]。2015年DeepMind团队发表了深度Q网络的文章，认为深度强化学习可以实现人类水平的控制[24]。2017年，DeepMind团队根据深度学习和策略搜索的方法推出了AlphaGo[25]，击败了围棋世界冠军李世石。此后，基于深度强化学习的 AlphaGo Zero[26]在不需要人类经验的帮助下，经过短时间的训练就击败了AlphaGo。2019年， DeepMind 团队基于多智能体（agent）深度强化学习推出的AlphaStar[27]在《星际争霸II》游戏中达到了人类大师级的水平，并且在《星际争霸II》的官方排名中超越了 99.8%的人类玩家。《Dota 2》AI“OpenAI Five”在电竞游戏中击败世界冠军[28]， Pluribus 在 6 人无限制德州扑克中击败人类职业选手[29]。同时DeepMind推出的MuZero在没有传授棋类运行规则的情况下，通过自我观察掌握围棋、国际象棋、将棋和雅达利（Atari）游戏[30]。与军事推演直接相关的《CMANO》和《战争游戏：红龙》（Wargame：Red Dragon），同样也结合了最新的机器学习技术提升了其智能性[31]。美国兰德公司也对兵棋推演的应用进行相关研究，利用兵棋推演假设分析了俄罗斯和北大西洋公约组织之间的对抗结果，并利用智能兵棋推演去发现新的战术[32]。兰德研究员也提出将兵棋作为美国军事人员学习战术战法的工具[33]。美国海军研究院尝试使用深度强化学习技术开发能够在多种单元和地形类型的简单场景中学习最佳行为的人工智能代理，并将其应用到军事训练及军事演习[34-35]。

但就目前而言，国外的研究也遇到了瓶颈。虽然也尝试将深度强化学习技术利用到作战领域，但是就目前发表的论文和报告来看，国外学者、研究人员将机器学习技术应用到作战推演 AI 中还有很多问题需要解决，现阶段也是主要在游戏 AI 领域及简单的作战场景进行实验验证及分析。作战推演AI 的设计也不仅仅是把机器学习技术照搬照用这么简单。但是必须肯定的是，随着未来计算机硬件的发展和机器学习技术的完善，作战推演 AI 会迎来一波革命式的发展，给各类作战智能指挥决策带来翻天覆地的变化。本文从智能博弈的重要应用领域——作战推演分析了国内外整体背景，进而引出作战推演的技术需求，并给出当前可参考的主流及小众技术思路。同时，对可能出现的技术难点进行了分析并给出解决方案建议。最后，对作战推演的未来发展提出建议。