Development of Multistage Machine Learning Classifier using Decision Trees and Boosting Algorithms over Darknet Network Traffic

近年来，暗网活动的秘密性质对网络安全的挑战不断升级，需要采用复杂的方法来检测和分类与这些秘密操作相关的网络流量。该系统解决了暗网流量数据集中类别不平衡的重大挑战，其中恶意流量占少数，阻碍了正常行为和恶意行为之间的有效区分。通过利用AdaBoost和Gradient Boosting等提升算法与决策树相结合，本研究提出了一种强大的网络流量分类解决方案。提升算法集成学习迭代地纠正错误，并将更高的权重分配给少数类实例，辅以决策树的层次结构。此外，还采用了特征选择作为预处理方法，利用信息增益度量、Fisher分数和卡方检验选择特征。对不同的暗网流量数据集进行严格的实验验证，通过各种性能指标如准确度、精确度、召回率和F1得分进行评估，提供了一种全面的解决方案，用于准确检测和分类暗网活动。

解决问题：本论文旨在解决暗网流量数据集中类不平衡问题，提出一种基于AdaBoost和Gradient Boosting的决策树算法的多阶段分类器，以准确检测和分类暗网活动。

关键思路：使用AdaBoost和Gradient Boosting算法进行集成学习，通过迭代纠正错误并赋予少数类实例更高的权重，配合决策树的层次结构，解决类不平衡问题。同时采用特征选择方法，如信息增益、Fisher's Score和卡方检验，进行预处理，提高分类器的准确性。

亮点：本论文通过对不同暗网流量数据集的严格实验验证了多阶段分类器的有效性，并使用多种性能指标进行评估，如准确度、精确度、召回率和F1分数。此外，特征选择方法的应用也提高了分类器的性能。论文还提供了开源代码，值得进一步研究。

相关研究：近年来，暗网活动的检测和分类已经成为网络安全领域的热点问题。相关研究包括“基于深度学习的暗网流量分类”（Deep Learning-Based Darknet Traffic Classification）和“暗网流量检测的一种新方法”（A Novel Method for Darknet Traffic Detection）等。