本文为机器翻译，英文原文地址https://openai.com/blog/planning-for-agi-and-beyond/
我们的使命是确保人工智能——通常比人类更聪明的人工智能系统——造福全人类。
如果AGI成功创建，这项技术可以通过增加丰度、为全球经济提供涡轮增压以及帮助发现改变可能性极限的新科学知识来帮助我们提升人类。
AGI有潜力为每个人提供令人难以置信的新能力；我们可以想象一个我们所有人都能帮助完成几乎所有认知任务的世界，为人类的独创性和创造力提供了巨大的力量倍增器。
另一方面，AGI也会带来滥用、严重事故和社会混乱的严重风险。因为AGI的优点如此之大，我们认为社会永远停止其发展是不可能的或可取的；相反，社会和AGI的开发人员必须弄清楚如何纠正它。
虽然我们无法准确预测会发生什么，当然我们目前的进展可能会撞墙，但我们可以阐明我们最关心的原则：
- 我们希望AGI赋予人类权力，使其在宇宙中最大限度地蓬勃发展。我们不期望未来是一个不合格的乌托邦，但我们希望最大化好，最小化坏，并希望AGI成为人类的放大器。
- 我们希望广泛和公平地分享AGI的好处、获取和治理。
- 我们希望成功应对巨大的风险。在面对这些风险时，我们承认理论上看似正确的事情往往比实践中预期的更奇怪。我们认为，我们必须通过部署功能较弱的技术版本来不断学习和适应，以尽量减少“一次尝试就正确”的场景。
短期
我们认为现在有几件事很重要，可以为AGI做准备。
首先，当我们连续创建更强大的系统时，我们希望部署它们，并获得在现实世界中操作它们的经验。我们认为，这是仔细指导AGI存在的最佳方式——向有AGI的世界的逐步过渡比突然过渡要好。我们预计强大的人工智能能使世界上的进展速度更快，我们认为最好循序渐进地适应这一点。
渐进的过渡让人们、决策者和机构有时间了解正在发生的事情，亲自体验这些系统的好处和缺点，调整我们的经济，并实施监管。它还允许社会和人工智能共同进化，让人们集体弄清楚他们想要什么，而赌注相对较低。
我们目前认为，成功应对人工智能部署挑战的最佳方法是快速学习和仔细迭代的紧密反馈循环。社会将面临关于允许人工智能系统做什么、如何打击偏见、如何处理工作流离失所等重大问题。最佳决策将取决于技术所走的道路，像任何新领域一样，到目前为止，大多数专家预测都是错误的。这使得真空中的规划非常困难。[2]
一般来说，我们认为世界上更多地使用人工智能会带来好处，并希望推广它（通过将模型放入我们的API中，开源它们等）。我们认为，民主化的获取还将带来更多更好的研究、权力下放、更多利益和更广泛的人贡献新想法。
随着我们的系统越来越接近AGI，我们对模型的创建和部署越来越谨慎。我们的决定将比社会通常适用于新技术的要谨慎得多，也比许多用户希望的要谨慎得多。人工智能领域的一些人认为AGI（和后续系统）的风险是虚构的；如果它们是正确的，我们会很高兴，但我们会像这些风险是存在一样运作。
在某个时候，部署的优点和缺点（例如增强恶意行为者的权能，造成社会和经济混乱，以及加速不安全的竞争）之间的平衡可能会发生变化，在这种情况下，我们将大幅改变我们围绕持续部署的计划。
其次，我们正在努力创建日益一致和可指导的模型。我们从GPT-3第一版等模型转向InstructGPT和ChatGPT，就是一个早期的例子。
特别是，我们认为社会必须就如何使用人工智能的极其广泛的界限达成一致，但在这些范围内，个人用户有很多自由裁量权。我们最终希望世界各机构就这些广泛的界限达成一致；在短期内，我们计划进行外部投入实验。世界各机构需要得到加强，增加能力和经验，为关于AGI的复杂决定做好准备。
我们产品的“默认设置”可能会受到相当大的限制，但我们计划让用户轻松改变他们正在使用的人工智能的行为。我们相信增强个人做出自己决定的能力，以及思想多样性的内在力量。
随着我们的模型变得更加强大（以及了解我们当前技术何时失败的测试），我们需要开发新的对齐技术。我们的短期计划是使用人工智能来帮助人类评估更复杂模型的输出并监控复杂的系统，从长远来看，使用人工智能来帮助我们提出更好的对齐技术的新想法。
重要的是，我们认为我们经常必须在人工智能安全和能力方面一起取得进展。单独谈论它们是错误的二分法；它们在许多方面都是相互关联的。我们最好的安全工作来自与我们最有能力的型号合作。也就是说，安全进度与能力进度的比率必须提高。
第三，我们希望就三个关键问题进行全球对话：如何管理这些系统，如何公平分配它们产生的收益，以及如何公平地共享访问权限。
除了这三个领域外，我们还试图以一种使我们的激励措施与良好结果保持一致的方式建立我们的结构。我们的章程中有一项条款，即协助其他组织推进安全，而不是在后期AGI开发中与他们比赛。我们对股东可以赚取的回报有上限，这样我们就不会被激励在没有约束的情况下试图获取价值，并冒着部署潜在灾难性危险的东西的风险（当然，作为与社会分享利益的一种方式）。我们有一个非营利组织来管理我们，让我们为人类的利益而运营（并可以推翻任何营利性利益），包括让我们做一些事情，例如在安全需要时取消对股东的股权义务，并赞助世界上最全面的全民基本收入实验。
我们认为，像我们这样的努力在发布新系统之前必须接受独立审计；我们将在今年晚些时候更详细地讨论这个问题。在某个时候，在开始训练未来系统之前，可能需要进行独立审查，对于最先进的努力来说，同意限制用于创建新模型的计算的增长率。我们认为，关于AGI的努力何时应该停止训练运行，决定模型安全发布，或将模型从生产使用中拉出来的公共标准很重要。最后，我们认为世界主要政府必须对超过一定规模的训练有洞察力。
从长远来看
我们认为，人类的未来应该由人类决定，与公众分享有关进步的信息很重要。应该对所有试图建立AGI的努力进行密切审查，并为重大决策进行公众咨询。
第一个AGI将只是沿着智能连续体的一个点。我们认为，从那时起，进展可能会持续下去，可能会长期保持我们过去十年看到的进展速度。如果这是真的，世界可能会变得与今天截然不同，风险可能是非同寻常的。错位的超级情报机构可能会对世界造成严重伤害；一个具有决定性超级情报领导的专制政权也可以做到这一点。
可以加速科学的人工智能是一个值得思考的特殊情况，也许比其他一切更有影响力。能够加速自身进步的AGI可能会导致重大变化出人意料地迅速发生（即使过渡开始缓慢，我们也预计在最后阶段会很快发生）。我们认为，放慢起飞更容易安全，AGI在关键时刻放慢速度的努力之间的协调可能很重要（即使在我们不需要这样做来解决技术调整问题的世界里，放慢速度对于给社会足够的时间进行适应可能也很重要）。
成功过渡到一个拥有超级智能的世界也许是人类历史上最重要、最有希望和最可怕的项目。成功远非有保证，赌注（无限的下行和无边）有望团结我们所有人。
我们可以想象一个人类蓬勃发展的世界，我们任何人都可能都无法完全想象。我们希望为世界贡献一个与这种繁荣相一致的AGI。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢