LLM Agents can Autonomously Exploit One-day Vulnerabilities

LLM技术在其良性和恶意使用方面变得越来越强大。随着能力的增强，研究人员对其利用网络安全漏洞的能力越来越感兴趣。特别是最近的研究已经对LLM代理自主攻击网站的能力进行了初步研究，但这些研究仅限于简单的漏洞。在这项工作中，我们展示了LLM代理可以自主利用现实世界系统中的一日漏洞。为了证明这一点，我们收集了一个包含15个一日漏洞的数据集，其中包括在CVE描述中被分类为严重的漏洞。当给出CVE描述时，GPT-4能够利用87%的这些漏洞，而其他我们测试的模型（GPT-3.5、开源LLM）和开源漏洞扫描器（ZAP和Metasploit）均为0%。幸运的是，我们的GPT-4代理需要CVE描述才能实现高性能：如果没有描述，GPT-4只能利用7%的漏洞。我们的发现引发了关于广泛部署高度能力的LLM代理的问题。

论文试图探讨LLM代理在自动攻击网站方面的能力，特别是在利用一日漏洞方面的表现，以及对高度能力的LLM代理的普遍部署提出疑问。

通过收集包含关键字为critical severity的15个一日漏洞数据集，论文展示了GPT-4代理在给定CVE描述时可以自主利用87%的漏洞，相比其他模型和漏洞扫描器的0%表现要好得多。但是，GPT-4代理需要CVE描述才能实现高性能，没有描述时只能利用7%的漏洞。

论文的亮点在于展示了高度能力的LLM代理在自动利用一日漏洞方面的表现，同时也提出了对这种代理的普遍部署的疑问。实验使用了15个包含critical severity的一日漏洞数据集，比较了不同模型和漏洞扫描器的表现。论文的开源代码和数据集也可供进一步研究使用。

最近的相关研究包括使用LLM代理进行网络攻击的初步研究，以及利用机器学习技术进行漏洞检测和利用的研究。