The Arabic AI Fingerprint: Stylometric Analysis and Detection of Large Language Models Text

大规模语言模型 (LLMs) 在生成类人文本方面取得了前所未有的能力，这在教育、社交媒体和学术等关键领域对信息完整性带来了微妙而重大的挑战。这些模型能够支持复杂的虚假信息活动、削弱医疗指导的可靠性，并协助进行有针对性的宣传。这一问题在阿拉伯语等尚未充分研究且资源匮乏的语言中尤为严重。本文对阿拉伯语机器生成文本进行了全面的研究，考察了多种生成策略（仅基于标题生成、内容感知生成以及文本优化）在不同模型架构（ALLaM、Jais、Llama 和 GPT-4）下的表现，并覆盖了学术和社交媒体领域。我们的文体计量分析揭示了在这些不同情境下，人类书写的阿拉伯语文本与机器生成的阿拉伯语文本之间具有显著区别的语言模式。尽管 LLMs 的输出表现出高度的人类特性，我们仍证明其阿拉伯语输出中存在可检测的特征签名，且这些特征因领域而异，在不同上下文中有显著差异。基于这些发现，我们开发了基于 BERT 的检测模型，该模型在正式文本环境中表现出卓越性能（F1 分数高达 99.9%），并在各种模型架构上保持了较高的精确度。我们的跨领域分析进一步验证了文献中先前报道的泛化难题。据我们所知，这项工作是对阿拉伯语机器生成文本迄今最全面的研究，独特地结合了多种提示生成方法、多样化的模型架构以及深入的文体计量分析，涵盖了多个文本领域，为构建稳健且语言学驱动的检测系统奠定了基础，这对于维护阿拉伯语环境中的信息完整性至关重要。

该论文试图解决阿拉伯语机器生成文本与人类书写文本的区分问题，特别是在教育、社交媒体和学术领域中，如何检测由大型语言模型生成的阿拉伯语内容。这是一个重要的问题，因为低资源语言（如阿拉伯语）在这一领域的研究较少，且生成式AI可能对信息完整性造成威胁。

论文通过结合多种生成策略（如从标题生成、基于内容生成和文本精炼）以及不同模型架构（ALLaM、Jais、Llama、GPT-4），对阿拉伯语生成文本进行了全面分析。进一步利用 stylometric 分析方法揭示了机器生成文本的独特语言模式，并开发了基于 BERT 的检测模型，实现了高精度的分类性能。相比现有工作，这篇论文不仅覆盖了更广泛的生成方法和模型架构，还深入探讨了跨域泛化挑战。

1. 提出了针对阿拉伯语机器生成文本的全面分析框架，包括多生成策略和多样本来源；2. 实现了在正式文本中的高检测精度（F1-score 高达 99.9%）；3. 发现了不同生成模型和领域之间的显著语言特征差异；4. 强调了跨域检测的困难，并为未来研究提供了方向。论文未提及是否开源代码，但实验设计涵盖了学术和社会媒体两个重要领域。

相关研究包括：1. 「Detecting Machine-Generated Text: A Multilingual Benchmark」，提出了多语言文本检测基准；2. 「Stylometric Analysis of LLM Outputs in High-Resource Languages」，专注于高资源语言的生成文本分析；3. 「Cross-Domain Adaptation for Fake News Detection」，讨论了跨域检测的挑战；4. 「Arabic NLP Challenges and Opportunities」，总结了阿拉伯语自然语言处理的难点及机遇。这些研究共同构成了当前关于生成文本检测的知识基础，但大多聚焦于高资源语言或单一生成方法。