AI-Generated Faces in the Real World: A Large-Scale Case Study of Twitter Profile Images

最近，生成人工智能（AI）领域的进展已经模糊了真实和机器生成内容之间的界限，使得人类几乎无法区分这些媒体。一个显著的后果是在社交媒体上使用AI生成的图像来制作假账户。虽然过去已经报道了几种类型的虚假信息和类似事件，但缺乏系统的分析。在这项工作中，我们进行了第一次大规模调查，研究了Twitter上AI生成的个人资料图片的普及情况。我们通过仔细整合各种数据源和设计多阶段检测流程来解决现实世界测量研究的挑战。我们对近1500万个Twitter个人资料图片的分析表明，其中0.052％是人工生成的，证实了它们在该平台上的显着存在。我们全面研究了这些账户及其推文内容的特征，并揭示了协调不真实行为的模式。结果还揭示了几种动机，包括垃圾邮件和政治放大活动。我们的研究再次确认了未来应对生成AI潜在负面影响的需要，需要有效的检测和缓解策略。

论文旨在研究AI生成的虚假社交媒体账号在Twitter上的普遍存在性和其潜在的负面影响，以及揭示它们的特征和行为模式。

通过仔细整合各种数据源和设计多阶段检测流程，对近1500万个Twitter头像进行分析，发现其中0.052%是由AI生成的。研究还揭示了这些账号的特征和行为模式，并发现了协调不真实行为的模式。同时，研究还探讨了这些虚假账号的动机，包括垃圾邮件和政治放大活动。

论文的实验设计非常仔细，使用了大量的数据源，并设计了多阶段检测流程。研究结果揭示了AI生成的虚假账号在Twitter上的普遍存在性和其潜在的负面影响。研究还发现了这些账号的特征和行为模式，并揭示了它们的动机。

在这个领域中，最近还有一些相关的研究。例如，2019年的一篇论文《Fake it till you make it: Fishing for Catfishes》也研究了虚假社交媒体账号的普遍存在性和其影响。另外，2020年的一篇论文《The Spread of Low-Quality News in Social Media》探讨了社交媒体上低质量新闻的传播。