Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data

生成式、多模态人工智能（GenAI）在各个行业具有变革性的潜力，但其滥用也带来了重大风险。之前的研究揭示了先进的人工智能系统被滥用用于恶意目的的潜力。然而，我们仍然缺乏具体了解GenAI模型在实践中如何被滥用或滥用的具体理解，包括用于造成伤害的策略。在本文中，我们提出了一个GenAI滥用策略的分类法，该分类法基于现有学术文献和对2023年1月至2024年3月期间报告的大约200起滥用事件的定性分析。通过这种分析，我们揭示了这段时间内滥用的关键和新的模式，包括潜在的动机、策略以及攻击者如何利用和滥用跨模态（例如图像、文本、音频、视频）的系统能力。

对GenAI模型的滥用和攻击缺乏具体理解，需要建立一种分类方法来研究这种滥用行为。

本文提出了一种基于GenAI滥用策略的分类法，并通过对200个滥用事件的分析，揭示了滥用行为的关键模式和策略。

本文的分类法能够帮助人们更好地理解GenAI滥用行为，并为防范这种行为提供指导。实验使用了大量的文献和滥用案例，并提供了数据支持。

最近的研究集中在GenAI的应用和潜在风险方面，例如DeepFakes和语音诈骗。