SEvenLLM: Benchmarking, Eliciting, and Enhancing Abilities of Large Language Models in Cyber Threat Intelligence

为了应对最近的网络安全威胁报告中提到的超过100亿次的网络安全事件的不断增加的复杂性和频率，网络威胁情报（CTI）在现代网络安全领域中发挥着关键作用，通过提供所需的洞察力来理解和应对网络威胁不断演变的特性。受到大型语言模型（LLMs）处理复杂任务的强大能力的启发，本文引入了一个框架，用于对安全事件的LLMs进行基准测试、引出和改进网络安全事件分析和响应能力（SEvenLLM）。具体来说，我们通过从网络安全网站中爬取网络安全原始文本来创建高质量的双语指令语料库，以克服信息提取的有效数据不足问题。然后，我们设计了一个流水线来自动从任务池中选择任务，并将原始文本转换为由问题和响应组成的监督语料库。指令数据集SEvenLLM-Instruct用于训练网络安全LLMs，采用多任务学习目标（27个精心设计的任务）来增强网络安全事件的分析。在我们精心策划的基准测试（SEvenLLM-bench）中进行的广泛实验表明，SEvenLLM执行了更复杂的威胁分析，并加强了对不断演变的网络威胁的防御。

本文旨在解决现代网络安全领域中复杂和频繁的网络安全事件的分析和响应问题，并且验证使用大型语言模型（LLMs）来处理这些任务的可行性。

本文提出了一个框架，使用爬虫技术从网络安全网站中获取原始文本，创建高质量的双语指令语料库，然后设计了一个流程来自动选择任务并将原始文本转换为包含问题和响应的监督语料库，使用多任务学习目标训练网络安全LLMs，提高网络安全事件分析和响应的能力。

本文的亮点在于使用爬虫技术获取高质量的双语指令语料库，使用多任务学习目标训练网络安全LLMs，可以更好地分析和应对不断发展的网络安全威胁。实验结果表明，SEvenLLM在网络安全事件分析和响应方面表现更加出色。

最近的相关研究包括使用自然语言处理技术进行网络安全事件分析和响应的研究，如《A Survey of Natural Language Processing Techniques in Cybersecurity》。还有一些研究使用深度学习技术来提高网络安全事件分析和响应的能力，如《Deep Learning for Cybersecurity: A Survey》。