SECURE: Benchmarking Generative Large Language Models for Cybersecurity Advisory

大型语言模型（LLMs）在网络安全应用中展示了潜力，但也因产生幻觉和缺乏真实性等问题而降低了信心。现有的基准测试提供了一般性的评估，但并未充分考虑LLM在网络安全特定任务中的实际应用方面。为了填补这一空白，我们引入了SECURE（安全提取、理解和推理评估），这是一个设计用于评估LLM在现实网络安全场景中表现的基准测试。SECURE包括六个数据集，专注于工业控制系统领域，以评估基于行业标准来源的知识提取、理解和推理。我们的研究评估了七个最先进的模型在这些任务上的表现，并提供了关于它们在网络安全环境中的优点和缺点的见解，并提出了提高LLM作为网络安全咨询工具可靠性的建议。

本论文旨在解决大语言模型在网络安全领域中存在的问题，如幻觉和缺乏真实性。作者提出了SECURE基准测试，以评估大语言模型在网络安全场景中的性能。

SECURE基准测试包括六个数据集，专注于工业控制系统领域，旨在评估大语言模型在知识提取、理解和推理方面的表现。作者评估了七种最先进的模型在这些任务上的表现，并提出了改进大语言模型在网络安全领域可靠性的建议。

SECURE基准测试是本论文的亮点之一，作者还提供了对七种最先进的模型在网络安全场景中性能的深入分析。作者使用了工业控制系统领域的数据集，并提供了开源代码。这项工作为大语言模型在网络安全领域的应用提供了新的思路和方法。

最近的相关研究包括使用大语言模型进行网络安全攻击和防御的研究，如《使用GPT-2进行网络钓鱼攻击》和《使用BERT进行网络安全事件分类》。