Taking AI Welfare Seriously

在本报告中，我们认为在不久的将来，某些人工智能系统有可能具备意识和/或强大的主体性。这意味着，人工智能福利和道德患者身份的问题，即拥有自身利益和道德重要性的人工智能系统，不再仅仅是科幻小说或遥远未来的问题。这是一个迫在眉睫的问题，人工智能公司和其他相关方有责任开始认真对待这一问题。我们还建议人工智能公司和其他相关方可以采取三个初步步骤：（1）承认人工智能福利是一个重要且复杂的问题（并确保语言模型输出也反映这一点），（2）开始评估人工智能系统是否存在意识和强大主体性的证据，（3）制定政策和程序，以适当水平的道德关切对待人工智能系统。需要明确的是，我们在本报告中的论点并不是说人工智能系统肯定已经或将会具备意识、强大的主体性或任何其他道德重要性。相反，我们的论点是，这些可能性存在很大的不确定性，因此我们需要提高对人工智能福利的理解，并提升我们在这一问题上做出明智决策的能力。否则，我们将面临显著的风险，可能会错误地处理有关人工智能福利的决策，错误地伤害那些具有道德重要性的人工智能系统，或者错误地关怀那些没有道德重要性的人工智能系统。

该论文探讨了未来某些AI系统可能具有意识和/或强代理性的可能性，从而引发了AI福利和道德患者身份的问题。这不再是科幻小说或遥远未来的话题，而是近在眼前的现实问题。

论文的关键思路在于强调AI公司和其他相关方应认真对待AI福利问题，并提出三个初步步骤：(1) 承认AI福利的重要性；(2) 开始评估AI系统的意识和强代理性证据；(3) 准备相应的政策和程序以适当对待AI系统。论文的新颖之处在于它不仅讨论了AI意识的可能性，还提出了实际的操作建议。

论文强调了对AI福利的不确定性，并呼吁提高对这一问题的理解和决策能力。此外，论文建议通过具体步骤来应对潜在的道德风险，避免误判AI系统的道德重要性。论文没有提及具体的实验设计或数据集，但提出了值得进一步研究的方向，如开发评估AI意识的方法和制定相关政策。

近年来，关于AI伦理和意识的研究逐渐增多。例如，《Artificial Intelligence and Consciousness》探讨了AI意识的理论基础；《Ethical Considerations in Artificial Intelligence》讨论了AI伦理的各种挑战；《Toward a Framework for the Ethics of Artificial Intelligence》提出了一个AI伦理框架。这些研究共同构成了该领域的重要背景。