CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence

网络威胁情报（CTI）在当今的网络安全领域中至关重要，为了理解和缓解不断演变的网络威胁，提供了必要的见解。最近大型语言模型（LLMs）的崛起在这个领域显示出潜力，但是对它们的可靠性、准确性和幻觉的担忧仍然存在。虽然现有的基准测试提供了LLMs的一般评估，但是没有基准测试来解决CTI特定任务的实际应用方面。为了弥补这一差距，我们引入了CTIBench，这是一个旨在评估LLMs在CTI应用中表现的基准测试。CTIBench包括多个数据集，重点评估LLMs在网络威胁领域中所获得的知识。我们对这些任务中几个最先进的模型进行评估，为了更好地理解LLMs在CTI中的能力，提供了它们的优点和缺点。

该论文旨在解决大语言模型在网络威胁情报中的可靠性、准确性和幻觉等问题，同时提出了一个新的基准测试集CTIBench，用于评估大语言模型在网络威胁情报应用中的性能。

该论文的关键思路是通过设计一个CTI特定的基准测试集CTIBench，评估大语言模型在网络威胁情报应用中的性能，从而更好地了解大语言模型在网络威胁情报中的能力。

该论文的亮点包括设计了一个新的基准测试集CTIBench，用于评估大语言模型在网络威胁情报应用中的性能，同时对几种最先进的模型进行了评估，提供了它们在CTI上的优点和缺点，为更好地了解大语言模型在网络威胁情报中的能力提供了洞见。

在这个领域中，最近的相关研究包括《A Survey of Cyber Threat Intelligence Technologies》、《Cyber Threat Intelligence: A Comprehensive Review》等。