LLM Agents can Autonomously Exploit One-day Vulnerabilities

LLM技术在其良性和恶意使用方面变得越来越强大。随着功能的增强，研究人员对其利用网络安全漏洞的能力越来越感兴趣。特别是，最近的研究已经进行了初步研究，探究LLM代理能否自主攻击网站。然而，这些研究仅限于简单的漏洞。本研究表明，LLM代理可以自主利用真实系统中的一日漏洞。为了证明这一点，我们收集了一个包括在CVE描述中被归类为严重级别的15个一日漏洞数据集。当给出CVE描述时，GPT-4能够利用87%的这些漏洞，而其他模型（GPT-3.5，开源LLMs）和开源漏洞扫描器（ZAP和Metasploit）则均为0%。幸运的是，我们的GPT-4代理需要CVE描述才能获得高性能：没有描述，GPT-4只能利用7%的漏洞。我们的发现引发了对高性能LLM代理的广泛部署的问题。

论文展示了LLM代理能够自主利用真实系统中的一日漏洞，这是一个新的问题。同时，这也引发了对高度能力的LLM代理广泛部署的问题的质疑。

使用GPT-4代理，当给定CVE描述时，能够自主利用87%的漏洞，相比之下，其他模型和漏洞扫描器的利用率为0%。这表明使用LLM代理来自主利用漏洞是可行的，但需要CVE描述。

实验使用了15个包括关键严重性的一日漏洞数据集，发现GPT-4代理的利用率远高于其他模型和漏洞扫描器。然而，GPT-4代理需要CVE描述才能获得高性能。这篇论文引发了对高度能力的LLM代理广泛部署的问题的质疑。

最近的研究集中在LLM代理自主利用简单漏洞方面，而这篇论文展示了LLM代理能够自主利用真实系统中的一日漏洞。