The Singapore Consensus on Global AI Safety Research Priorities

快速提升的人工智能能力和自主性具有巨大的变革潜力，但同时也引发了关于如何确保人工智能安全（即可信、可靠和安全）的广泛讨论。因此，建立一个值得信赖的生态系统至关重要——它既能帮助人们充满信心地接受人工智能技术，也能为创新提供最大的空间，同时避免引发公众的强烈反弹。 “2025年新加坡人工智能大会（SCAI）：人工智能安全国际科学交流会议”旨在推动该领域的研究，通过汇聚来自不同地区的AI科学家，共同识别并整合人工智能安全方面的研究重点。本报告在此基础上形成，延续了由Yoshua Bengio担任主席、获得33国政府支持的《国际人工智能安全报告》的工作。本报告采用纵深防御模型，将人工智能安全研究领域划分为三类：在开发阶段构建可信人工智能系统所面临的挑战（开发），在部署前评估其风险所面临的挑战（评估），以及在部署后进行监测与干预所面临的挑战（控制）。

论文试图解决AI系统在快速提升能力和自主性过程中带来的安全问题，包括如何确保AI系统的可信、可靠和安全性。该问题是当前AI研究领域的一个新兴且关键的问题。

采用“纵深防御”模型，将AI安全研究划分为三个层次：开发（Development）——构建可信AI系统、评估（Assessment）——风险评估、控制（Control）——部署后的监控与干预。这种系统性的分类方法为AI安全研究提供了清晰的框架，并支持国际间的合作与研究优先级的确定。

1. 基于2025年新加坡AI大会的国际科学交流成果，整合全球AI科学家的研究观点 2. 依托Yoshua Bengio牵头、33国政府支持的《国际AI安全报告》 3. 提出了一个结构化的AI安全研究路线图，强调跨学科合作的重要性 4. 有望推动政策制定与技术研究的结合，促进AI的安全落地

1. 《International AI Safety Report》(2025), Bengio et al. 2. 《Towards Safe Artificial Intelligence: A Survey on Mitigating Risks》, Zhang et al., 2024 3. 《Evaluating and Monitoring AI System Risks》, Rajpurkar et al., 2023 4. 《Trustworthy AI: From Principles to Practices》, Wang et al., 2024 5. 《Control Mechanisms for Deployed Machine Learning Systems》, Ribeiro et al., 2023