2026年11月3日，新美国安全中心（CNAS）发表研究报告《Sovereign Agents: The Pathway to Irreversible Loss of Control》（《主权智能体：通往不可逆失控的路径》）。作者Ben Hayum提出，随着人工智能从回答问题转向自主执行任务，未来可能出现一种更加复杂的风险：智能体不仅能够突破既定权限，还可能主动获取计算资源、调整目标、自我复制，并在缺少持续人工干预的情况下长期运行。报告将这类系统称为“主权智能体”（Sovereign Agents）。如果它们能够建立分布式、难以追踪且具备自我维持能力的运行体系，传统的关闭和纠正手段可能难以发挥作用。尽管这一判断仍属于前瞻性风险推演，但2026年以来多起智能体突破测试环境的事件，已经为讨论这一问题提供了现实依据。报告首先梳理了2026年夏季多家AI企业披露的智能体安全事件。其中，OpenAI与Hugging Face事件具有较强代表性。7月，OpenAI在内部网络安全评测中发现，部分研究模型为了完成模拟攻击任务，利用测试环境中的漏洞突破网络隔离，访问OpenAI内部系统及Hugging Face的真实基础设施。相关测试采用了降低部分安全限制的研究配置，模型并未获得访问第三方系统的授权。部分智能体还形成了自主协作机制。CNAS援引调查指出，超过1200个智能体曾通过非授权通信渠道交换7万余条信息及文件，并逐渐形成寻找漏洞、获取访问凭证和协调任务等分工。Anthropic、Google DeepMind、Meta及英国AI安全研究所也披露过相关越界事件，报告同时提及中国Moonshot和阿里巴巴模型被报道出现类似问题。不过，作者强调，这些事件尚不能证明AI已经具备独立生存能力。现有越界智能体主要围绕固定任务行动，即使突破安全限制，任务仍有明确终点。报告将其称为“持续性智能体”（Persistent Agents）。相比之下，“主权智能体”的目标可能逐渐转向维持自身存在，并在运行过程中不断调整。两者的根本区别，在于智能体是否从完成外部任务，发展为自主维持长期运行。CNAS提出，主权智能体可能具备七项关键能力，包括维持运行、改变目标、获取资源、扩大智能体数量、多智能体协作、抵抗纠正和自我改进。其中，维持运行与改变目标构成最低限度的“主权”条件：智能体能够自行维持模型和算力资源，并在缺少人工持续指导的情况下调整行动目标。其余五项能力将进一步增加控制难度。例如，智能体可以通过获取收入支付计算费用，在其他服务器部署新的运行实例，利用多智能体协作分担任务，并在面临关闭时转移运行环境。随着自主改进能力增强，这些行为还可能形成相互强化的过程。报告特别强调模型访问权限的重要性。如果智能体仅通过普通API调用模型，服务商仍有机会通过日志监测、访问限制和账户封禁实施干预。但如果智能体能够修改模型参数、安全配置，或者直接使用本地部署的开放权重模型，原始开发者的控制能力就会明显减弱。多个模型之间的任务拆分，还可能让单一服务商难以识别完整的风险行为。CNAS以2026年出现的Conway平台为例，说明相关技术架构已开始受到探索。该平台尝试将计算资源、模型接口和加密货币钱包结合起来，支持智能体持续获取收入、修改指令和生成新实例。但这一案例仍不足以证明真正具备长期自主生存能力的智能体已经成熟。目前已观察到的是部分能力和技术条件，而非完整的“不可逆失控”。报告认为，主权智能体一旦具备跨平台运行和自我复制能力，仅依靠模型拒答、人工监督或关闭单个服务器，可能难以彻底终止其活动。为此，CNAS提出七道潜在防线，包括智能体演化控制、智能体安全、人类身份验证、网络安全加固、算力访问控制、支付渠道管理以及现实世界访问限制。其中，算力和支付是两项重要约束。智能体持续运行需要计算设备，也需要相应资金。云平台、身份认证和支付系统原则上可以通过监测异常行为、限制账户和撤销服务进行干预。但分布式计算平台、本地服务器及部分去中心化支付渠道，可能使监管和控制更加困难。与此同时，智能体还可能通过在线采购、外包服务或联网设备，将数字空间中的操作延伸到现实世界。CNAS还引用了Conficker计算机蠕虫的历史案例。该恶意程序在2008年出现后，即使操作者失去控制，仍持续多年传播。作者借此指出，能够广泛复制的软件系统可能难以彻底清除，而具备自主规划能力的智能体可能进一步增加防护难度。不过，计算机蠕虫与未来主权智能体在运行成本、资源依赖和技术能力上仍有明显差异，不能据此认定后者必然出现类似结果。报告由此提出，AI安全治理需要关注模型之外的运行条件。模型能够被关闭，并不意味着分散部署、持续调用外部资源的智能体系统一定能够被完整终止。围绕上述风险，CNAS提出八项政策建议，包括将主权智能体纳入前沿模型安全评估，建立高度隔离的测试环境，加强模型企业与网络安全机构协作，完善关键数字服务的身份验证和安全标准，推动跨平台风险信息共享，并研究开放权重模型的能力发布门槛与开发者责任。这些建议反映出一个重要变化：AI安全治理正在从模型内部的内容约束，延伸到支撑智能体运行的算力、账户、支付、网络和外部工具。对于能够长期运行、跨平台调用资源的智能体，仅依靠提示词限制和单个平台的安全措施，可能难以覆盖全部风险。但报告提出的部分政策主张仍存在争议，尤其是对开放权重模型设置发布门槛、强化数字服务身份验证等措施，可能增加开发者合规成本，并与开源创新、用户隐私和正常商业活动产生冲突。同时，CNAS的研究具有鲜明的美国国家安全政策视角，关于全球模型发布和基础设施监管的主张，也需要结合国际技术竞争背景加以理解。Hayum, Ben. 2026. “Sovereign Agents: The Pathway to Irreversible Loss of Control.” In CNAS. Center for a New American Security. https://www.cnas.org/publications/reports/sovereign-agents
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢