通用人工智能（AGI）正在不可阻挡地走向人类社会，有人期待它带来的巨大生产力突破，有人也在警告它可能成为洪水猛兽，也有人对它的发展只是持观望态度。不管怎样，基于你所了解的信息，你可以尝试描绘一幅 AGI 图景，并畅想它在人类政治、经济、社会发展会产生的影响。
在本文中，作者 Rudolf 深入剖析了 AGI 到来之后的资本、人类劳动与社会权力结构之间的复杂关系。其核心观点是，劳动力替代性 AI 将改变人力与非人力生产要素的相对重要性，这会降低社会对人类的关注度，同时使现有的权力更加有效和根深蒂固。这意味着，在默认情况下，资本将在 AGI 时代变得比以往更加重要。（本文由 OneFlow 编译，转载请联系授权。原文：https://rudolf.website/capital-agi-and-ambition/）
许多人曾说过类似“AGI 出现后，金钱将不再重要”的话，我觉得这种说法很奇怪，也很可能完全不正确。
首先，劳动指的是人类在精神和体力上的付出，这些付出能创造有价值的东西。资本品是指工厂、数据中心、软件等由人类建造、用于生产商品和服务的物品。在本文中，我会用“资本（capital）”一词来指资本品的存量和可以购买这些资本品的资金。当我想排除资本品时，我会使用“金钱（money）”一词。
AI 的主要经济影响在于，它使资本越来越多地成为劳动力的替代品。由于可以用资本（例如运行软件的数据中心）来替代人类从事的脑力劳动，人们不再需要为人类的劳动时间付费。
我将探讨这一问题的后果，并最终得出结论，劳动力替代型 AI 会导致：
2. 人类在现实世界中行使权力的能力（至少在没有金钱的情况下）会显著降低，原因有二：国家、公司或其他机构将不再有动力去关心人类；人类很难凭借其初始资源取得超常成果（outlier outcome）。
总体而言，这些结果揭示了变革性 AI 的一个被忽视的负面影响：社会可能变得永久静态，而现有的不平等权力结构可能被放大并愈发固化。如果 AI 足够强大，那么风险并不在于物质条件不足。政府可以利用 AI 创造的财富实施普遍基本收入（UBI）政策。即便仅美国获取了 AI 财富，且它并不关心其他地区发展，只要假设 AI 能创造极致财富，那么关心其它地区的少数富有的美国人也可能拥有足够的财富来终结其他国家的物质贫困。如果 1% 的美国亿万富翁的财富用于向外国人转移财富，那么在以购买力满足人类需求为标准的情况下，美国亿万富翁的财富需要翻倍 16 次（即大约增加 70000 倍），才能向地球上每个人提供相当于 50 万美元的财富；在经济翻倍时间以月计算的奇点情景下，这种财富增长不会花费很长时间。当然，如果 AI 爆发的过程不像奇点那样迅猛，或者 AI 飞速发展的动态实际上削弱了世界上大部分人口的权力（这很有可能发生），那么物质条件是否充足也可能成为问题。
这些情景最触动我的是：一个统治阶层固定不变的静态社会似乎缺乏活力和生机。如果可以，我们不应扼杀人的雄心壮志。此外，这种社会状态还可能削弱掌权者关心人类的动机，使缓慢积累的、逐步显现的 AI 灾难更有可能发生。假设目前在人类因劳动获得工资的大多数任务中，可以通过 AI 来更好、更快、更便宜地完成精神和体力劳动，那么这些任务将不再具有显著的市场价值。这种取代劳动的人工智能可以称为劳动力替代型 AI。
1. 各国政府将推行类似于普遍基本收入（UBI）的政策。2. 我们将很快进入超级智能时代，并在超级智能目标和行为与人类的价值观、利益相一致的情况下，我们将生活在一个后稀缺技术乌托邦（指技术进步克服了资源的稀缺性），一切皆有可能。
需要注意的是，首先，货币将继续存在，除非有一个单一的 AI 系统负责所有的经济规划。价格的主要功能是传递信息。如果存在多个行为体并且相互交易，那么一个强有力的假设应是：价格仍然存在（即使人类无法直接看到或参与交易）。还要记住，无论奇点来得多么迅猛，资源的丰富程度仍是有限的，那资源必须进行分配。
金钱可以买到很多东西：例如资本品通常可以很容易地通过金钱购得，而没有大量资金（或其他流动性资产、可抵押的非流动性资产或特殊的政府权力）则无法购买资本品。然而，将原始资金转化为具有高水平竞争力的人力资源却异常困难。
以蓝色起源和 SpaceX 为例。蓝色起源比 SpaceX 早两年成立（2000年 vs 2002年），大部分时间里资金比 SpaceX 更充足，甚至到今天，蓝色起源雇佣的人数几乎与 SpaceX 相当（分别为 11000 与 13000人）。然而，SpaceX 在与蓝色起源的竞争中取得了压倒性的优势。2000 年，杰夫·贝索斯手头有 47 亿美元。但 SpaceX 凭借其独特的企业文化和一些极具才华的人才，仍然在竞争中占据了优势。再看一个世纪前，莱特兄弟凭借他们的自行车商店资源击败了财力雄厚的塞缪尔·兰利团队。
考虑典型的风险投资者与创始人之间的互动，或收购者与初创企业之间的互动。在这两种情况下，拥有大量金融资本的人愿意支付高价来押注劳动力——而这个赌注是，初创企业中少数人的劳动力将胜过由大量资本支持的企业而获得成功。
如果想将金钱转化为成果，那么最深刻的问题可能就是招募到合适的人才。这个过程有几个问题：
1. 除非你自己在同一领域有相当的才能，否则通常很难判断人才。因此，如果你试图寻找人才，往往收获不大。2. 人才稀缺（而有资质的人才更加稀缺——许多行动者不能依赖任何其他类型的人才，参考第1点），这样的人才本就很少。3. 即便找到了顶尖人才，他们往往不太容易被金钱所收买。
（当然，有钱人继续建设基础设施，使得金钱能更容易地转化为成果。我亲眼见过量化金融公司几乎成功地将英国顶尖的 STEM 毕业生的所有雄心扼杀，让他们在金融市场中以榨取微小收益为目标。这一语境下，金钱依旧至上！）
随着劳动力替代型 AI 的出现，这些问题将不复存在。首先，你可能无须再面临评估 AI 人才的难题。即便是 AI 评估体系也可能难以正确评估 AI 人才——评估本身就很难。随着 AI 能力不断提升，通过那些非正式地、常见地称赞 Claude-3.5-Sonnet 的口碑机制来判断哪些AI是最强的也比评测机制靠谱。然而，真正的区别在于，AI 是可以被克隆的。目前，人们投掷大量资金去追逐某一位顶尖研究人员，他们因做了某项突破才让才能得以为掌控金钱的人所认知（这些有钱人通常不能直接判断人才，但能判断一篇论文的社会接受度）。但 AI 形式的顶尖研究员可以被克隆，每个人——至少每个有足够资金购买 GPU 的人——都能获得这个 AI 来作为顶尖研究员。无须再筛选那些独特的、未证明才华的、且无法立即克隆的各种人类。这就是为何在我们拥有劳动力替代型 AI 之后，资金将更容易找到顶尖人才的主要原因。
此外，由于 AI 将比相应的人工劳动力便宜，人才的价格将大幅下降，而且由于 AI 可以被克隆，竞争将更加激烈。
最后，金钱转化为人才的一个重要瓶颈是，许多顶尖人才具有复杂的个人偏好，使他们很难被收买。顶尖艺术家有真正执着的艺术理念，顶尖数学家对优雅和美丽有深厚的热爱，顶尖企业家对他们所做的事业有坚定的信念——而且他们可能根本不适合当员工。人类的才能和表现常常与他们对某一学科或使命的神圣联系紧密相连（这一事实常常被世界上的愤世嫉俗者、功利主义者和罗马帝国式的人物低估，然而最终却会被雄心勃勃的实习生、SpaceX 和基督教等所超越）。相比之下， AI 的存在恰恰是为了能够轻松被收买（至少在其安全训练的范围内）。天才的 AI 数学家与人类数学家不同，前者会乐意将有限的时间用来证明繁琐代码是否正确，人类数学家却不一定。
最后，显而易见的是，AI 最终将在其任务上比任何人类员工都更为强大。
这意味着，一旦我们拥有劳动力替代型 AI，金钱在现实世界中转化为成果的能力将大幅提升。劳动力替代型 AI 还剥夺了几乎所有人的主要权力和杠杆。最显而易见的是，如果你是普通人，你的财富来自于某人支付报酬，让你用你的精神和/或体力去解决他们的问题。
普遍基本收入是由关心人类福利的国家提供，国家为何会关心并可能继续关心人类福利？
过去几个世纪，国家对人类福利的关注有了很大的转变。为什么会这样？我们可以分析这些原因，看看它们的持续性如何：
1. 启蒙运动带来的道德变化，尤其是自由主义和个人主义日益突出。2. 富裕与技术。工业化前的社会大多贫困，任何有效的帮助贫困者的努力都会使国家破产。许多帮助措施（例如有效的医疗服务）也只有通过新技术才得以实现。AI 将在第二点上起到很大帮助，它对第一点有一些复杂的影响。我在这里想更深入地探讨第三点，它并未被充分重视。自工业革命以来，国家与人民的利益空前一致。为了在经济上具备竞争力，一个强大的国家需要高效的市场、良好的教育体系以培养技术熟练的工人，以及繁荣的中产阶级来创造需求。不论人才来自哪个阶层，国家都从中受益。国家也从允许高度自由中获益，以促进科学、技术以及文化艺术的繁荣，这些都能提升国家的全球软实力和文化影响力。国家之间的竞争在这些方面不断推动前进——比如美国的成功，以及中国推动高效市场和受过教育的富裕阶层公民，并且激励自由的市场空间以促进中国的科学和初创企业。与此对比的是封建制度，当时的获胜策略是建立一个剥削性上层阶级，统治一群未受教育的农民，并将大部分获取的财富用于对外战争。有了劳动力替代型 AI ，国家的动机——即为了将国家与其他国家的竞争力和/或自身权力最大化而采取的行动——将不再与人民利益一致。善待人民的动力可能还不如封建制度时期好。在封建制度下，国家的动机是，只要农民不死，便尽可能从其身上榨取财富。而在有了劳动力替代型 AI 之后，人民将不再是可以开采的资源，而是变得更加无关紧要。因此，减少对人类的投入、增加对维持国家竞争力的 AI 的投入，国家更有动力这么做。人类对国家的影响力也将大大减弱。如今，由于国家权力至少依赖于部分民众的支持，如果某个重要行业罢工，或者某部分军事力量威胁发动政变，国家必须关心。人们还可以向国家做出切实的承诺，比如“投资我们，十年后国家会更强大”。不过，一旦 AI 能够做所有维持经济运转和军事力量的工作，国家就没有任何现实的理由去关心人类的需求。亚当·斯密曾写道（https://oll.libertyfund.org/quotes/adam-smith-butcher-brewer-baker） ，他的晚餐并不依赖于屠夫、酿酒师或面包师的仁慈给予。今天的古典自由主义者可以有力地声称，历史的轨迹确实朝向自由和丰饶，这不是依靠国家的仁慈，而是由于资本主义和地缘政治的动力。然而，在劳动力替代型 AI 的背景下，这种情况将不再成立。如果历史的轨迹继续向自由和丰饶发展，它将仅仅依靠国家（或 AI 寡头们）的仁慈。如果真是如此，最好在我们还有影响力时就巩固这种仁慈——并且有充分的理由相信它能经得起时间的考验。民主是对我们最有利的因素。西方民主制度是现代世界最强大制度的核心，平等的代表权是其中的重要组成部分。然而，全球只有约 13% 的人口生活在自由民主国家，这就引发了关于剩余 87% 人口命运的担忧（特别是 27% 的封闭专制国家）。这也为人道主义国家与那些不择手段的国家之间的竞争带来了潜在风险，长期竞争可能使投入人类福祉的资源消耗到零。我在本文中之所以集中讨论国家，是因为国家是当今最强大和最持久的制度。然而，如果公司或其他全新类型的组织成为最重要的机构类型，类似的逻辑也适用。世界上的许多变革来源于那些原本处于权力和资金体系之外的人，通过努力取得突破性成功，最终获得财富或权力。那些已经拥有财富或权力的人通常对现状最为满意，缺乏推动重大变革的热情，所以这些人才有机会获得成功。
无论你对收入不平等或某些特定的“超常成果”成功案例持何种看法，我希望我们可以就以下问题达成共识：允许个人通过不凡的成功改变世界的可能性至关重要，它能防止社会陷入僵化，并让这个世界变得更加有趣和充满活力。
接下来，让我们讨论劳动力替代型 AI 对通过劳动实现“超常成果”成功的几种主要途径的影响。
创业：目前，创业正在成为一项针对有技术天赋、无政治野心的年轻人（至少是雄心勃勃的那些）的“雄心技术”（Matt Clifford 的术语）。如今，创业变得更加容易，AI 工具已经能够让小团队在无需雇佣新员工的情况下大幅提高效率，同时降低进入新技能和新领域的门槛。然而，劳动力替代型 AI 的出现可能会让创业的可行性变得不确定。在某种理想化的情况下，AI 仍然只是工具，企业家在 AI 普及之后仍有可能通过提供方向与决策取得成功。但更可能的是，随着 AI 能力的增强，最终会直接取代人类的创业角色。比如，风险投资基金或许可以直接利用资金支持数百个由 AI 运行的创业项目，而无需通过人类企业家作为中介来管理这些 AI 。
硬科学（自然科学）：由于AI在所有拥有明确奖励机制的领域中的快速进展，人类在硬科学领域取得成就的时代可能会在短短几年内终结。
知识分子：凯恩斯（Keynes）、弗里德曼（Friedman）和哈耶克（Hayek）等经济学家虽从事技术性经济学研究，但他们巨大的影响力更多则是来源于他们构建并推广的世界观（尤其是哈耶克）。与他们类似的还有密尔（John Stuart Mill）、罗尔斯（John Rawls）和亨利·乔治（Henry George），他们的思想框架、哲学体系对社会产生了深远的影响。这些人之所以能脱颖而出，是因为他们的产出不仅仅依赖于技术的正确性，还需要基于道德判断。然而，即便 AI 能够在说服力和技术正确性方面超越人类，它在这一领域对人类文化的影响方式仍存在不确定性。不过可以预见的是，人类知识分子很可能面临不利局面。知识分子的思想体系之所以能大放异彩，是因为天才在过去稀缺。一旦 AI 大规模创造意识形态，人类个体的思想很难再成为“耀眼明星”。世界级的知识分子或将走向灭绝。
政治：多数人仍然会倾向于让人类担任政治职位，这可能是受影响最小的领域之一。同时，政治家有权决定规则。不过，AI 生成的虚拟形象的吸引力，以及西方对政治家的普遍厌恶，可能会对这一局面带来挑战。此外，AI 可能降低政治竞选的成本，从而降低参与门槛，但如果高质量的 AI 比廉价 AI 显著更优，这可能反而会有利于资源更丰富的参与者。我预计这些直接影响会比 AI 对模因环境带来的间接影响要小。
同时，最优策略或许并不是进入政治体系本身——比如，与其他百万政治精英竞争总统或总理职位。而是将政治技巧用于其他领域，例如像山姆·阿尔特曼（Sam Altman）那样进入政府以外的机构，在那些政治技能比较稀缺的地方施展才能。未来，超高效 AI 的出现可能会进一步降低人类情商的重要性，同时让在组织内部的政治博弈取胜后的收益更高。
军事：自拿破仑以来，军事已不再是直接通向巨大权力和社会变革的途径。技术的进步使得顶尖军队所需的工业基础门槛不断提高，这对现有大国更为有利。AI 预计将主要由最强大的国家控制。可能的例外情况包括：AI 让发动大国政变变得更容易，或革命战术与廉价无人机的结合让某位“无人机时代的拿破仑”击败现有军队。然而，这些情况似乎都不太可能带来对现状有益的颠覆性挑战。
宗教：在现有宗教体系中获得地位的路径可能类似于政治，而创立新宗教的路径可能类似于知识分子。
综上，足够强大的劳动力替代型 AI 可能会对几乎所有形式的人类超常成功造成负面影响，或许政治领域的影响相对最小。尽管当前 AI 确实为创业带来了巨大帮助，但整体上，人类通过劳动获得权力的机会将显著减少。
这一切意味着，在拥有劳动力替代型 AI 后，个人在现实世界中不依靠资金来获取和行使权力的能力将大幅下降。
《不平等社会》（http://localhost:8000/out/short-reviews-nonfiction-1/#section-3）是一本关于不平等历史的好书，这本书（根据作者的说法）已经经受住批评。其结论是，过去不平等的巨大缩减都源于“四大平等使者”之一：全面战争、暴力革命、国家崩溃和大流行病。通过有意识的政治选择来缩小收入差距在历史上一直非常困难，几乎从未发生过。
假设劳动力替代型 AI 已经到来，普遍基本收入政策已经实施，没人会挨饿。各国和公司在争先恐后地最大程度利用 AI。这一切都需要大量资本，因此每个人都需要争取资本的持有者。顶级的 AI 公司已经具备与国家相当的权力。财富的再分配不太可能成为政治议程的首要问题。
唯一的例外可能是，如果某种新的政治运动或意识形态迅速获得大量支持，并且以某种方式受到前所未有的 AI 效应的推动（例如没有人再有工作，因此他们可以把所有时间花在政治上，或者出现了某种新的由 AI 驱动的协调机制）。
因此，即使未来是一个辉煌的超人类主义乌托邦，人们开始时也不太可能处于平等的起点。根据前面的论点，他们以后也不太可能大幅度改变自己的相对地位。
还要考虑国家之间的平等问题。一些国家将比其他国家从 AI 中获益更多。如普遍基本收入等许多平等化措施，将很难在现有的政治体系下推广到非公民，这一点即使对于美国这样的历史上最为自由和人道的大国来说也是如此。因此，世界秩序可能会默认地（比现在还要）看起来像一个全球性的种姓制度，基于出生国的不同，移民的可能性将更少（允许移民的主要动机是它带来的巨大经济利益，而这些利益只有在人类从事有意义的经济工作时才存在）。
假设本文开头的假设和上述分析成立，那么劳动力替代型 AI 的世界将包括：
这意味着，当劳动力替代型 AI 到来时，拥有大量资本的人将拥有永久的优势。他们将比今天的富人拥有更大权力——不一定是对其他人的权力（只要自由制度仍然强大），但至少是在物质和智力成就方面。资本现在可以轻松地转化为任何领域的超人类劳动，新兴势力将无法打败他们。
此外，所有真正的权力都将来自 AI，世界上拥有权力的机构也不再有关心人类的动机，以维持或扩大他们的权力。然而，通过政治机构，自由人文价值观可能会有显著的锁定效应。如果每个人都拥有有意义的普遍基本收入（或类似收入），并且经济保留了以人为本的部分，人们的购买力也可能显著地锁定在稳定的水平。
在最好的情况下，这像是一个更加不平等、空前静态且更加富裕的像挪威一样的世界：一个巨大的非人类劳动资源的储备（石油 :: AI）带来的好处将流向每个人，当然有些人比其他人更富裕，但每个人都有很高的生活水平（理想情况下也能永生）。人类的唯一现实雄心是，在你的社交网络和阶层中参与本地的社会和政治游戏。如果你没有大量资本（甚至即便有资本），你就没有机会再影响更广泛的世界了。记住，AI 是更好的诗人、艺术家、哲学家——无所不能；除非某个人是你亲自认识的，否则谁还会在乎某个人做了什么？就像在封建社会，“为什么这个人有权力？”的答案通常会涉及某个悠久的家族历史，或许最终可以追溯到曾经参加过某个重要战斗的远祖（“我曾曾祖父曾在博斯沃思战役中作战！”），那么未来任何重要人物也会因他们或他们亲近的人在前人工智能时代所做的事情而变得重要（“我叔叔是 OpenAI 的技术人员”）。未来的孩子们将生活在父母的阴影下，社会流动性将消失。哪怕承认这些情况也许会更糟，我仍认为人们应该对这一切感到一定的生存恐惧。
在更糟的情况下，AI 亿万富翁拥有几乎无限的权力，而基于劳动力替代型 AI 时代时的资本，建立起了一个永久的贵族阶层。不同阶层之间的权力差距可能会让现代人感到震惊，就像现代人认为封建社会的地位等级令人厌恶一样，但是别担心——就像封建社会的下层阶级在没有超人类说服力 AI 的情况下仍然基本接受了他们的世界秩序一样（https://nosetgauge.substack.com/p/review-foragers-farmers-and-fossil-fuels），未来的下层阶级也会如此。
在最糟糕的情况下，人类可能会灭绝，可能是因为 AI 的优化目标逐渐偏向于追求 AI 自身的力量，而不是人类的繁荣（https://nosetgauge.substack.com/p/a-disneyland-without-children）。这就是权力和资金所指向的方向。
如果你读完这篇文章后决定去量化金融公司工作，我会感到难过。如果你本来打算做一些与 AI 相关的有雄心和影响力的事情，但读完这篇文章后，选择去 Anthropic 这样的公司谋求低风险的个人资本积累，同时对公司略有帮助（略微超出了公司招募的最低水平员工的贡献），那么我不会太责怪你，但仍会感到有些遗憾。
确实，上述内容凸显了中期（大约2到10年）个人财务规划的重要性，你应该认真考虑这一点。但同样重要的是，现在是一个非常适合采取雄心勃勃行动的时代。罗宾·汉森（Robin Hanson）称现在为“梦幻时代”（https://www.overcomingbias.com/p/this-is-the-dream-timehtml），借用澳大利亚土著神话中的概念：一个未来世界秩序及其价值观仍未定型的时代。
过去的动荡——各种工业化浪潮、互联网等——是实现人类雄心的良机。而 AI 可能是人类雄心的最后也是最大的机会，随后便是人类雄心的彻底消逝。对此，你的反应怎么可能不是“及时行乐”呢？理性主义者对后 AGI 未来的思考往往过于“解决主义”。这种思维的简化版是：解决道德问题，解决 AI 问题，找出最佳宇宙结构并实现，然后完成任务。【实际上，领军人物持有的观点远没有这么简单，参见保罗·克里斯蒂亚诺 (Paul Christiano) 在 23:30 处的发言（https://www.dwarkeshpatel.com/p/paul-christiano）——但基层文化确实倾向于简化版的思维模式。】
我认为，对于社会及其发展而言，更健康的方式是保持其动态性，让个人仍有能力为社会添砖加瓦或带来变革，这意味着，我们需要保持实现雄心壮志的潜力和由此带来的变革活力。
我们该怎么做？我不知道，但我认为不应该把强大 AI 的来临视为一堵不可逾越的空白墙壁，认为它将吞噬一切，无一幸免。至少在一段时间内，这堵墙会有裂缝，而当我们靠近时，或者如果你愿意从远处仔细寻找，这些裂缝会比从宇宙视角看起来大得多。不过，随着 AI 越来越接近全面超越人类表现上实现帕累托改进（指 AI 在各个领域的表现都优于人类，且没有负面影响），我们最终可能需要增强自身能力来跟上它们的步伐。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢