Deliberative Technology for Alignment

为了使人类在未来保持和扩展其代理能力，我们创造的最强大的系统必须是那些可以使未来与人类意愿相一致的系统。当今最强大的系统是像政府、企业和非政府组织这样的大型机构。审议技术已经在这些机构中使用，以帮助将治理和外交与人类意愿相一致，而现代人工智能有望使这种技术显著提高。同时，超人类智能的竞赛已经开始，它所带来的人工智能系统可能成为未来最强大的系统。如果不能将这种强大的人工智能的影响与人类意愿相一致，可能会导致灾难性后果，而成功则可能释放出丰富的资源。现在，利用审议技术来使强大的人工智能的影响与人类意愿相一致有机会。此外，可能可以通过工程手段在强大的人工智能和审议对齐系统之间建立一种共生耦合，使对齐的质量随着人工智能能力的提高而提高。

如何通过使用deliberative technology和现代AI来确保强大的AI系统与人类意愿相一致？

使用deliberative technology来对齐政府、企业和NGO等机构的治理和外交与人类意愿，并将其与强大的AI系统相结合，以提高对齐质量。

论文强调了对齐强大AI系统与人类意愿的重要性，并提出了使用deliberative technology的解决方案。此外，还提出了一种可能的共生耦合的思路，以提高对齐质量。

最近的相关研究包括Superintelligence: Paths, Dangers, Strategies by Nick Bostrom，Human Compatible: Artificial Intelligence and the Problem of Control by Stuart Russell等。