PenHeal: A Two-Stage LLM Framework for Automated Pentesting and Optimal Remediation

近期大型语言模型(LLM)的进展已经显示出在增强网络安全防御方面对于复杂威胁的重要潜力。基于LLM的渗透测试是自动化系统安全评估中的一个重要步骤，可以识别系统中的漏洞。随后的关键步骤是漏洞修复，以解决这些发现的漏洞。由于漏洞、攻击方法和软件版本的详细信息提供了关键的系统弱点洞察，将渗透测试与漏洞修复集成成一个有机的系统已经变得直观和必要。 本文介绍了PenHeal，这是一个基于LLM的两阶段框架，旨在自主识别和减轻安全漏洞。该框架集成了两个LLM启用的组件：Pentest模块，用于检测系统中的多个漏洞，以及Remediation模块，用于推荐最佳的修复策略。通过反事实提示和一个指导LLM使用外部知识探索多个潜在攻击路径的教练模块，来促进集成。我们的实验结果表明，PenHeal不仅自动化了漏洞的识别和修复，而且相比基线模型，显著提高了漏洞覆盖率31％，增加了32％的修复策略有效性，并降低了46％的相关成本。这些结果突显了LLM在重塑网络安全实践方面的变革潜力，提供了一种创新解决方案来防御网络威胁。

PenHeal旨在通过两个LLM-enabled组件：Pentest Module和Remediation Module来自动识别和缓解安全漏洞。这个框架能够解决自动化系统安全评估的问题，同时提高漏洞覆盖率，提高修复策略的效果并降低成本。

该框架通过Counterfactual Prompting和Instructor模块，引导LLMs使用外部知识来探索多个潜在的攻击路径，实现了Pentest Module和Remediation Module的整合。相比于基线模型，PenHeal不仅能够自动化识别和修复漏洞，而且能够显著提高漏洞覆盖率，提高修复策略的效果并降低成本。

PenHeal框架的实验结果表明，相比于基线模型，PenHeal能够提高漏洞覆盖率31%，提高修复策略效果32%，并降低相关成本46%。这篇论文提出的框架为自动化安全评估和漏洞修复提供了一种创新的解决方案。

最近的相关研究包括：《Deep Exploit: A Universal Attack Framework and an Attacker Generator》、《Learning to Penetrate Defenses for Internet-Scale Uncertain Information Extraction》等。