Knowledge-Informed Auto-Penetration Testing Based on Reinforcement Learning with Reward Machine

自动化渗透测试（AutoPT）基于强化学习（RL）已经证明了它提高了信息系统漏洞识别效率的能力。然而，基于RL的PT遇到了几个挑战，包括采样效率低、奖励规范复杂和可解释性有限。为了解决这些问题，我们提出了一种基于知识的AutoPT框架，称为DRLRM-PT，它利用奖励机器（RMs）将领域知识编码为训练PT策略的指南。在我们的研究中，我们特别关注横向移动作为PT案例研究，并将其制定为由RMs指导的部分可观察马尔可夫决策过程（POMDP）。我们基于MITRE ATT＆CK知识库为横向移动设计了两个RMs。为了解决POMDP和优化PT策略，我们采用了带有RM的深度Q学习算法（DQRM）。实验结果表明，与没有知识嵌入的代理相比，DQRM代理在PT训练中表现出更高的训练效率。此外，编码更详细领域知识的RMs与编码更简单的RMs相比，表现出更好的PT性能。

本论文旨在解决基于强化学习的自动化渗透测试中的采样效率低、奖励规范复杂和可解释性有限等问题，并提出了一种基于知识的自动化渗透测试框架。

该框架利用奖励机器（RM）将领域知识编码为指导训练PT策略的指南，通过深度Q学习算法（DQRM）解决POMDP并优化PT策略。

论文将横向移动作为渗透测试案例研究，并设计了两个基于MITRE ATT＆CK知识库的RM。实验结果表明，相比没有知识嵌入的代理，DQRM代理在PT中表现出更高的训练效率。此外，编码更详细领域知识的RM相比编码更简单知识的RM表现出更好的PT性能。

最近的相关研究包括：基于深度强化学习的自动化渗透测试（DRLAPT）和基于元学习的自动化渗透测试（AutoMeta）。