A Framework for Evaluating Emerging Cyberattack Capabilities of AI

随着前沿模型能力的不断增强，研究社区试图评估这些模型是否可能被用于发动网络攻击的能力。为了安全地为通用人工智能（AGI）做好准备，进行全面评估并优先部署防御措施是至关重要的任务。然而，目前的网络安全评估工作大多是临时性的，缺乏对攻击各个阶段的系统性分析，并且未能提供如何使用针对性防御的具体指导。在本文中，我们提出了一种全新的方法来评估人工智能在网络攻击中的能力：（1）分析端到端的攻击链；（2）帮助识别人工智能威胁评估中的空白；（3）协助防御者优先考虑针对性缓解措施，并通过人工智能驱动的对手模拟支持红队演练。为实现这些目标，我们建议将现有的网络攻击链框架扩展到人工智能系统中。我们分析了谷歌威胁情报小组记录的超过12,000个利用人工智能进行网络攻击的真实案例，从中整理出七个具有代表性的网络攻击链原型，并通过瓶颈分析确定了人工智能可能带来成本扰动的关键领域。我们的评估基准包括50个新设计的挑战，涵盖了网络攻击的不同阶段。基于此，我们制定了针对网络安全模型的专项评估方案，报告了人工智能在特定攻击阶段放大进攻能力的潜力，并最终提出了优先部署防御措施的建议。总体而言，我们认为这是迄今为止最全面的人工智能网络风险评估框架。

论文试图解决如何系统性评估前沿AI模型在支持网络攻击中的能力问题，特别是通过分析攻击链的各个阶段来识别潜在风险和防御优先级。这是一个相对较新的问题，因为随着AI技术的进步，其在网络攻击中的应用变得越来越复杂。

论文提出了一种基于攻击链框架的新方法，用于全面评估AI在网络攻击中的作用。这种方法不仅涵盖了端到端的攻击过程，还帮助识别当前评估中的盲点，并为防御者提供优先级建议。相比现有研究，该论文首次将大规模真实世界数据（如Google威胁情报组的12,000个案例）与攻击链分析相结合，提供了更具体的瓶颈分析和防御策略建议。

论文通过分析超过12,000个真实案例，提炼出7种代表性的网络攻击链原型，并设计了50个新挑战以覆盖不同攻击阶段。此外，作者提出了针对特定攻击阶段的AI能力放大效应，并给出了明确的防御优先级建议。虽然没有提及代码开源，但其提出的基准测试和评价体系值得进一步开发和验证。未来可以深入研究如何动态更新这些评估框架以适应快速变化的AI技术。

近期相关研究包括：1) 'Evaluating the Cybersecurity Risks of Large Language Models' 探讨了大语言模型在生成恶意内容中的潜力；2) 'AI-Driven Threat Hunting: A Framework for Proactive Defense' 提出了主动防御的AI驱动框架；3) 'Adversarial Machine Learning in Cybersecurity' 深入讨论了对抗机器学习在网络攻击中的应用。这些研究共同构成了当前AI网络安全领域的热点方向。