CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence

网络威胁情报（CTI）在当今的网络安全领域中至关重要，为理解和缓解不断演变的网络威胁提供了必要的洞察力。最近，大型语言模型（LLM）的崛起在该领域显示出潜力，但对其可靠性、准确性和幻觉的担忧仍然存在。虽然现有的基准测试提供了LLM的一般评估，但没有基准测试涉及CTI特定任务的实际应用方面。为了弥补这一差距，我们引入了CTIBench，这是一个旨在评估LLM在CTI应用中的性能的基准测试。CTIBench包括多个数据集，重点评估LLM在网络威胁领域中获得的知识。我们对这些任务中几种最先进的模型进行的评估，为了解它们在CTI上的优势和劣势提供了洞察力，有助于更好地理解LLM在CTI中的能力。

本论文旨在解决LLMs在CTI应用中的可靠性、准确性和幻觉等问题，并提出了一个评估LLMs在CTI应用中表现的基准CTIBench。

CTIBench是一个基准，用于评估LLMs在CTI应用中的表现。它包括多个数据集，重点评估LLMs在网络安全领域中获取的知识。通过在这些任务上评估几种最先进的模型，可以更好地了解LLMs在CTI中的优缺点。

该论文的亮点包括提出了一个新的基准CTIBench，用于评估LLMs在CTI应用中的表现。实验设计详细，使用了多个数据集，并提供了开源代码。该论文为LLMs在CTI应用中的表现提供了深入的研究和分析。

最近的相关研究包括《GPT-3：语言模型的新里程碑》和《基于深度学习的威胁情报分类和聚类方法》等。