Exploring the Use of Abusive Generative AI Models on Civitai

生成式人工智能的崛起正在改变数字图像领域的格局，并对在线创意社区产生了重大影响。这导致了AI生成内容（AIGC）社交平台的出现，如Civitai。这些独特的社交平台允许用户构建和分享自己的生成式AI模型，从而增强更多样化的艺术表达的潜力。它们以社交网络的形式设计，还为艺术家提供了展示他们的创作（从模型生成的）的手段，参与讨论和获得反馈，从而培养社区感。然而，这种开放性也引发了对这些平台滥用的担忧，例如使用模型传播欺骗性的Deepfake或侵犯版权。为了探讨这个问题，我们进行了第一次全面的实证研究，重点关注AIGC社交平台的滥用内容。作为一个示例，我们构建了一个包含Civitai的全面数据集，这是最大的可用AIGC社交平台。基于这个包含87K个模型和2M张图像的数据集，我们探讨了内容的特点，并讨论了更好地管理这些平台的调节策略。

本论文旨在探讨AIGC社交平台的滥用问题，特别是使用生成的AI模型生成滥用内容的问题。作者构建了一个包括87K个模型和2M张图像的数据集，并探讨了滥用内容的特征和治理策略。

本论文的关键思路是通过对AIGC社交平台的滥用内容进行研究，提出更好的治理策略，以避免滥用行为。

本论文是第一篇对AIGC社交平台进行全面实证研究的论文。研究结果揭示了滥用内容的特征和存在的问题，并提出了一些治理策略。作者构建了一个包括87K个模型和2M张图像的数据集，并提供了开源代码。

近年来，随着AIGC社交平台的兴起，越来越多的相关研究被进行。例如，'Exploring Adversarial Examples in AI-generated Content Online'，'AI-Generated Fake News: A Survey'等。