Two Types of AI Existential Risk: Decisive and Accumulative

传统的关于人工智能存在风险（x-risks）的讨论通常集中于由先进的人工智能系统引起的突然、严重事件，特别是那些可能达到或超过人类智能水平的系统。这些事件会产生严重后果，导致人类灭绝或使人类文明不可逆转地瘫痪到无法恢复的程度。然而，这种讨论经常忽略了人工智能存在风险通过一系列较小但相互关联的干扰逐渐显现的严重可能性，逐渐跨越时间的关键阈值。本文将传统的“决定性人工智能存在风险假设”与“累积型人工智能存在风险假设”进行了对比。前者设想了一条明显的人工智能接管路径，其特征是像无法控制的超级智能这样的场景，而后者则提出了一种不同的致命灾难因果路径。这涉及到关键的人工智能引发的威胁的逐渐积累，例如严重的漏洞和经济政治结构的系统性侵蚀。累积型假设提出了一种青蛙煮沸的情景，即逐渐累积的人工智能风险逐渐融合，破坏了韧性，直到触发事件导致不可逆转的崩溃。通过系统分析，本文考察了区分这两种假设的不同假设。然后，本文认为，累积型观点协调了看似不兼容的人工智能风险观点。讨论了区分这些因果路径——决定性和累积型——对人工智能风险治理以及长期人工智能安全的影响。

论文试图探讨人工智能累积风险的假设，与传统的人工智能决定性风险假设相比，它们有何不同？这些假设对人工智能风险治理和长期安全有何影响？

论文提出了累积人工智能风险假设，认为人工智能风险可能通过一系列相互关联的小规模干扰逐渐累积，最终导致不可逆的崩溃。这种风险逐渐交汇的情况可能会削弱系统的韧性，并最终导致系统崩溃。与传统的人工智能决定性风险假设不同，累积风险假设认为，人工智能风险可能是逐渐累积的，而不是突然发生的。

论文通过系统分析探讨了累积人工智能风险假设和传统的人工智能决定性风险假设之间的区别和联系。此外，论文还讨论了这些假设对人工智能风险治理和长期安全的影响。

在这个领域中，最近的相关研究有《超级智能的控制问题》、《人工智能的风险与机会：为人类谋福祉》等。