NLP-ADBench: NLP Anomaly Detection Benchmark

异常检测（AD）是一项关键的机器学习任务，在网络系统中有多种应用，包括欺诈检测、内容审核和用户行为分析。尽管其重要性不言而喻，但在自然语言处理（NLP）中的异常检测仍然研究不足，限制了在文本数据中检测异常（如有害内容、钓鱼尝试或垃圾评论）的进展。在本文中，我们介绍了NLP-ADBench，这是最全面的NLP异常检测（NLP-AD）基准，包含八个精心挑选的数据集和对十九种最新算法的评估。这些算法包括三种端到端方法和十六种两步法，后者将传统的异常检测技术应用于由bert-base-uncased和OpenAI的text-embedding-3-large模型生成的语言嵌入。 我们的结果揭示了NLP-AD的关键见解和未来方向。值得注意的是，没有一个单一模型能在所有数据集上表现出色，这突显了自动化模型选择的必要性。此外，利用基于变换器的嵌入的两步法始终优于专门的端到端方法，其中OpenAI的嵌入表现优于BERT嵌入。通过在https://github.com/USC-FORTIS/NLP-ADBench发布NLP-ADBench，我们提供了一个标准化的框架来评估NLP-AD方法，促进创新方法的发展。这项工作填补了该领域的一个重要空白，并为推进NLP异常检测奠定了基础，特别是在提高基于网络系统的安全性和可靠性方面。

该论文旨在解决自然语言处理中的异常检测问题，特别是在文本数据如有害内容、网络钓鱼尝试和垃圾评论检测方面的不足。这是一个重要的问题，因为现有的NLP异常检测方法相对较少，限制了在网络安全和内容审核等领域的应用。

论文提出了NLP-ADBench，这是迄今为止最全面的NLP异常检测基准，包含八个精心挑选的数据集和十九种最先进的算法评估。这些算法包括三种端到端的方法和十六种两步法，后者通过应用传统的异常检测技术来处理由BERT和OpenAI模型生成的语言嵌入。这一方法不仅填补了NLP异常检测领域的空白，还为未来的模型选择提供了自动化方向。

论文的关键发现包括：没有单一模型在所有数据集上都表现出色，强调了自动化模型选择的必要性；两步法结合Transformer嵌入的表现优于专门的端到端方法，尤其是OpenAI嵌入比BERT嵌入表现更好。此外，论文发布了NLP-ADBench框架，提供了一个标准化的评估平台，促进了该领域的创新和发展。代码已开源，可供研究人员进一步探索和改进。

近年来，NLP异常检测领域的一些相关研究包括： 1. "Deep Anomaly Detection on Text: A Survey" - 这篇综述文章详细介绍了NLP异常检测的各种方法和技术。 2. "BERT-AD: Anomaly Detection in Text using BERT" - 该研究探讨了如何利用BERT模型进行文本异常检测。 3. "Leveraging Pre-trained Language Models for Anomaly Detection in Text" - 这篇文章研究了预训练语言模型在文本异常检测中的应用。 4. "Adversarial Text Generation for Anomaly Detection" - 该研究提出了一种对抗生成方法来增强NLP异常检测的效果。