Advancing TTP Analysis: Harnessing the Power of Encoder-Only and Decoder-Only Language Models with Retrieval Augmented Generation

战术、技术和程序（TTP）描述了攻击者利用漏洞的方法。由于预设专业知识、复杂依赖和内在模糊性，网络安全从业人员在MITRE ATT＆CK框架中解释TTP可能具有挑战性。同时，大型语言模型（LLM）的进展导致了最近在探索其在网络安全操作中的用途方面的研究激增。这引发了我们的疑问：仅编码器（例如RoBERTa）和仅解码器（例如GPT-3.5）的LLM能否很好地理解和总结TTP，以便向分析人员提供关于网络攻击程序的预期目的（即战术）的信息。最先进的LLM表明，它们易于产生幻觉，提供不准确的信息，这在网络安全等关键领域是有问题的。因此，我们提出使用检索增强生成（RAG）技术来提取每个网络攻击程序的相关上下文，以供仅解码器LLM（无需微调）使用。我们进一步将这种方法与仅编码器LLM的受监督微调（SFT）进行对比。我们的结果表明，仅使用解码器LLM（即其预训练知识）和仅编码器LLM的SFT都提供了对网络攻击程序的不准确解释。当为仅解码器LLM使用RAG时，特别是当找到直接相关的上下文时，显示出了显着的改进。本研究进一步揭示了在解释TTP时使用RAG的LLM的局限性和能力。

本文旨在探讨如何使用Retrieval Augmented Generation (RAG)技术来提取相关语境，以帮助decoder-only LLMs更好地理解和总结攻击者利用漏洞进行攻击的TTPs。同时，本文还比较了encoder-only LLMs的有监督微调和直接使用decoder-only LLMs的效果。

使用RAG技术可以帮助decoder-only LLMs更好地理解和总结攻击者利用漏洞进行攻击的TTPs，从而提高其准确性和可靠性。

实验结果表明，使用RAG技术可以显著提高decoder-only LLMs的准确性和可靠性。同时，本文还指出了当前LLMs在解释TTPs方面存在的局限性和挑战，并提出了未来的研究方向。

最近在这个领域中，也有一些相关的研究，如《BERT for Adversarial Attack on Text Classification》、《GPT-2: Language Models are Unsupervised Multitask Learners》等。