Respond to Change with Constancy: Instruction-tuning with LLM for Non-I.I.D. Network Traffic Classification

加密流量分类在网络安全中极具挑战性，这是因为需要从与内容无关的流量数据中提取鲁棒特征。现有的方法面临关键问题：(i) 分布漂移，由于依赖于封闭世界假设，限制了其对现实世界中不断变化模式的适应能力；(ii) 对标注数据的依赖限制了在标注数据稀缺或不可用场景中的应用。大型语言模型（LLMs）已经在提供广泛任务的通用解决方案方面展现出显著潜力，并在多个专业领域取得了值得注意的成功。然而，它们在流量分析中的有效性仍受到适应流量领域独特需求的挑战所限制。在本文中，我们提出了一种名为基于大型语言模型的加密流量异常分布指令调优模型（ETooL）的新型流量表示模型，该模型通过自监督指令调优范式将大型语言模型与流量结构知识相结合。这一框架建立了文本信息与流量交互之间的联系。ETooL 在监督和零样本流量分类任务中表现出更强大的分类性能和更好的泛化能力。特别是在 F1 分数上取得了显著提升：APP53（同分布，I.I.D.）分别达到 93.19%（提升 6.62%）和 92.11%（提升 4.19%），APP53（异分布，O.O.D.）分别达到 74.88%（提升 18.17%）和 72.13%（提升 15.15%），ISCX-Botnet（异分布，O.O.D.）分别达到 95.03%（提升 9.16%）和 81.95%（提升 12.08%）。此外，我们构建了一个名为 NETD 的流量数据集，旨在支持动态分布变化，并使用它验证 ETooL 在不同分布条件下的有效性。同时，我们评估了通过 ETooL 指令调优方法实现的效率增益。

论文试图解决加密流量分类中的两大关键问题：(i) 分布漂移问题，即现有方法依赖于封闭世界的假设，难以适应现实世界中不断变化的流量模式；(ii) 标签数据依赖性问题，即在标签数据稀缺或不可用的情况下，现有方法的适用性受限。这是一个长期存在的挑战性问题，但通过引入大型语言模型（LLMs）来解决这些问题是一个新的尝试。

论文提出了一种名为ETooL的新框架，将LLMs与自监督指令微调范式结合，用于生成对流量结构有理解的表示。该方法通过连接文本信息和流量交互，使模型能够更好地泛化到未见过的分布（out-of-distribution, OOD）场景，并在监督和零样本任务中表现出更强的分类性能。相比传统方法，ETooL利用了LLMs强大的泛化能力，同时通过自监督学习减少了对标注数据的依赖，从而提高了模型的适应性和鲁棒性。

1. ETooL在多个数据集上取得了显著的性能提升，例如在APP53 (O.O.D.) 和ISCX-Botnet (O.O.D.) 数据集上分别提升了18.17%和9.16%的F1分数。 2. 提出了一个新的数据集NETD，专门设计用于支持动态分布变化的研究，进一步验证了ETooL在不同分布条件下的有效性。 3. 论文还评估了通过指令微调带来的效率增益，展示了该方法在计算资源上的优势。 4. 开源代码和数据集的可用性为后续研究提供了便利，尤其是在加密流量分析领域。 5. 研究表明，LLMs可以成功应用于网络安全领域，特别是在流量分析任务中，为未来的研究方向提供了启示。

近年来，加密流量分类领域的相关工作包括： 1. "Deep Learning for Encrypted Traffic Classification: A Survey" - 综述了深度学习在加密流量分类中的应用，强调了特征提取和模型泛化的重要性。 2. "Adversarial Machine Learning in Cybersecurity: Current Landscape and Future Directions" - 探讨了对抗机器学习在网络安全中的应用，指出了分布漂移问题的挑战。 3. "Self-Supervised Learning for Network Traffic Analysis" - 提出了自监督学习方法在流量分析中的潜力，但未涉及LLMs的应用。 4. "Zero-Shot Learning for Malware Detection Using Pre-trained Language Models" - 将预训练语言模型应用于恶意软件检测，为本研究提供了灵感。 这些研究共同构成了加密流量分类领域的背景知识，而ETooL则通过整合LLMs和自监督学习进一步推动了这一领域的进展。