OpenAI研究人员与乔治敦大学安全和新兴技术中心和斯坦福互联网天文台合作，调查大型语言模型如何被滥用于虚假信息目的。2021年10月的研讨会，汇集了30名虚假信息研究人员、机器学习专家和政策分析师，最终撰写了一份共同撰写的报告，以一年多的研究为基础。

本报告概述了语言模型如果用于增强虚假信息活动对信息环境的威胁，并介绍了分析潜在缓解措施的框架。阅读此处的完整报告。

随着生成语言模型的改进，它们开辟了新的可能性等不同领域医疗保健、法律、教育和科学。但是，与任何新技术一样，值得考虑如何滥用它们。在反复在线影响操作（秘密或欺骗性努力影响目标受众意见）的背景下，本文要求：

语言模型的变化会如何影响操作，以及哪些步骤可以减轻这种威胁？

我们的工作汇集了不同的背景和专业知识——研究人员的战术、技术和程序的在线虚假信息活动的，以及机器学习专家生成人工智能——以根据趋势进行分析。

我们认为，分析人工智能影响操作，并概述可以采取的步骤之前大规模使用语言模型进行影响操作。我们希望我们的研究将提供信息新手决策者的人工智能或虚假信息，并推动深入研究的潜在缓解策略的人工智能开发人员、决策者和虚假信息研究人员。

人工智能如何影响运营？

当研究人员评估影响操作时，他们会考虑参与者、行为和内容。由语言模型驱动的技术广泛可用性可能会影响所有三个方面：

  1. 演员：语言模型可以降低操作影响操作的成本，使他们触手可及的新演员和演员类型。同样，自动制作文本的雇佣宣传员可能会获得新的竞争优势。

  2. 行为：使用语言模型影响操作将更容易扩展，目前昂贵的策略（例如生成个性化内容）可能会变得更便宜。语言模型还可能使新的策略出现，例如在聊天机器人中实时生成内容。

  3. 内容：与宣传者相比，由语言模型驱动的文本创建工具可能会产生更具影响力或说服力的信息，特别是那些宣传者缺乏的必要语言或文化知识。它们还可能使影响操作更难以被发现，因为它们反复创建新内容，而无需使用复制粘贴和其他明显的省时行为。

我们的底线判断是，语言模型对宣传人员有用，并可能改变在线影响操作。即使最先进的模型通过应用程序编程接口（API）访问保持私密性或控制，宣传者可能会倾向于开源替代品，民族国家可能会自己投资于该技术。

关键信息

许多因素会影响语言模型是否以及多大程度上将用于影响操作。我们的报告深入探讨了其中许多考虑因素。例如：

  • 哪些新的影响力能力将作为善意研究或商业投资的副作用？哪些参与者会大量投资语言模型？
  • 易于使用的生成文本工具何时公开发布？设计特定的语言模型来影响操作，而不是应用通用语言模型，会更有效吗？
  • 制定规范会抑制那些提供人工智能影响操作的行为者吗？演员的意图将如何发展？

虽然我们预计该技术的传播以及语言模型的可用性、可靠性和效率的提高，但许多关于未来的问题仍未得到解答。由于这些是关键的可能性，可以改变语言模型可能如何影响操作，因此的额外研究减少不确定性非常有价值。

报告作者

Josh A.Goldstein（乔治敦大学安全和新兴技术中心）
Girish Sastry（OpenAI）
Micah Musser（乔治敦大学安全和新兴技术中心）
Renée DiResta（斯坦福互联网天文台）
Matthew Gentzel（Longview慈善机构）（在OpenAI完成的工作）
Katerina Sedova（美国国务院）（政府服务前在安全和新兴技术中心完成的工作）

阅读详情

报告下载