An Empirical Evaluation of LLMs for Solving Offensive Security Challenges

Capture The Flag（CTF）挑战是与计算机安全场景相关的谜题。随着大型语言模型（LLM）的出现，越来越多的CTF参与者使用LLM来理解和解决这些挑战。然而，到目前为止，还没有研究评估LLM在完全自动化的工作流程中解决CTF挑战的有效性。我们开发了两种CTF解决工作流程，即人机协同（HITL）和完全自动化，以检查LLM解决一组选定的CTF挑战的能力，并提供有关问题的信息。我们收集了人类参赛者对相同问题集的结果，并发现LLM的成功率高于平均人类参赛者。这项工作对LLM在解决现实世界CTF挑战的能力进行了全面评估，从真实竞赛到完全自动化的工作流程。我们的结果为在网络安全教育中应用LLM提供了参考，并为系统评估LLM中攻击性网络安全能力铺平了道路。

评估大型语言模型在解决CTF挑战中的效果，以及为语言模型在网络安全领域的应用提供参考

开发两种CTF挑战解决工作流程，人机交互和全自动化，通过实验比较大型语言模型和人类参与者的表现，发现大型语言模型在解决CTF挑战中的成功率高于平均水平的人类参与者

实验设计了两种CTF挑战解决工作流程，对比了大型语言模型和人类参与者的表现，结果显示大型语言模型在解决CTF挑战中的成功率高于平均水平的人类参与者，为大型语言模型在网络安全教育中的应用提供了参考

最近在这个领域中，还有一些相关的研究，例如“BERT在网络安全中的应用”