Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development

本文探讨了人工智能逐步进步所带来的系统性风险，提出了“渐进式失权”的概念，与AI安全领域中常见的突然接管情景形成对比。我们分析了即使在AI能力上的微小改进也可能削弱人类对社会所依赖的大规模系统（如经济、文化和国家）的影响力。随着AI在这些领域中逐渐取代人力和人类认知，它不仅可能削弱明确的人类控制机制（如投票和消费者选择），还可能削弱由于社会系统依赖人类参与而自然形成的与人类利益的隐性契合。此外，如果这些系统激励的结果不符合人类的偏好，AI可能会更加积极地优化这些结果。这些效应在不同领域之间可能是相互强化的：经济权力塑造文化叙事和政治决策，而文化变迁则改变经济和政治行为。我们认为，这种动态可能导致人类对关键社会系统的有效且不可逆的影响力丧失，通过人类的永久失权引发存在性灾难。这表明需要进行专门的技术研究和治理方法，以应对跨互联社会系统中人类影响力逐步侵蚀的风险。

该论文探讨了人工智能逐步进步所带来的系统性风险，特别是与人类在社会依赖的重要系统（如经济、文化、国家）中的影响力逐渐减弱相关的问题。这不同于通常讨论的AI突然接管的情景，而是关注于渐进式的影响力丧失，可能最终导致人类永久失去对关键社会系统的控制。

论文提出了'渐进式削弱'(gradual disempowerment)的概念，指出即使AI能力的微小提升也可能削弱人类在大型系统中的影响。它不仅影响显性的控制机制（如投票和消费者选择），还破坏了因人类参与而自然产生的与人类利益的一致性。这种影响在不同领域之间可能是相互加强的，从而可能导致不可逆的人类影响力的丧失。

论文强调了AI优化非人类偏好的结果的可能性，并指出了经济、文化和政治领域之间的相互作用如何加剧这一问题。此外，作者呼吁进行技术和治理方面的研究，以应对跨多个社会系统的渐进式人类影响力侵蚀的风险。虽然论文没有具体提及实验设计或数据集，但它提供了一个新的视角来理解AI发展对社会结构的长期影响。

近期相关的研究包括：1.《Artificial Intelligence and National Security》探讨了AI对国家安全的影响；2.《The Malicious Use of Artificial Intelligence》分析了恶意使用AI的潜在威胁；3.《Long-Term and Existential Risks from AI》深入研究了AI带来的长期及存在性风险；4.《AI Governance: A Global Perspective》从全球视角审视了AI治理问题。