LuxVeri at GenAI Detection Task 1: Inverse Perplexity Weighted Ensemble for Robust Detection of AI-Generated Text across English and Multilingual Contexts

本文介绍了一个为 COLING 2025 工作坊关于检测人工智能生成内容的任务1开发的系统，重点在于区分机器生成文本和人类撰写文本的二分类问题。我们的方法采用了一个模型集成方案，根据每个模型的逆困惑度分配权重，以提高分类准确性。对于英文文本检测任务，我们结合了 RoBERTa-base、带有 OpenAI 检测器的 RoBERTa-base 和 BERT-base-cased，实现了 0.7458 的宏 F1 分数，在 35 支队伍中排名第 12 位。对于多语言文本检测任务，我们集成了 RemBERT、XLM-RoBERTa-base 和 BERT-base-multilingual-cased，并采用了相同的逆困惑度加权技术，从而获得了 0.7513 的宏 F1 分数，在 25 支队伍中排名第 4 位。我们的结果表明，逆困惑度加权在提高单语和多语环境下机器生成文本检测的鲁棒性方面具有有效性，突显了集成方法在这一挑战性任务中的潜力。

该论文试图解决机器生成文本与人类撰写文本之间的二分类问题，特别是在COLING 2025研讨会的AI生成内容检测任务中。这是一个具有挑战性的问题，因为随着AI技术的进步，机器生成的内容越来越难以区分。

关键思路是使用基于逆困惑度加权的模型集成方法来提高分类准确性。作者选择了多个预训练语言模型（如RoBERTa-base、BERT-base-cased等），并根据每个模型在特定任务上的表现分配权重。这种方法不仅提高了单个模型的表现，还增强了系统的鲁棒性。

实验设计包括了针对英语和多语言文本的两个任务，并且使用了宏F1分数作为评估指标。研究团队在英语文本检测任务中获得了0.7458的宏F1分数，在多语言文本检测任务中获得了0.7513的宏F1分数，分别排在第12位和第4位。此外，该研究展示了逆困惑度加权技术的有效性，并强调了集成方法在未来研究中的潜力。虽然论文未提及是否开源代码，但其提出的方法值得进一步探索和验证。

最近在这个领域中，相关的研究包括： - 'Detecting Machine Translation with Pre-trained Language Models' (Wang et al., 2022) - 'Adversarial Detection of AI-Generated Text' (Zhou et al., 2023) - 'Evaluating and Detecting AI-Generated Essays' (Li et al., 2023) 这些研究都致力于改进AI生成内容的检测方法，采用的技术从对抗训练到深度学习不等。