The Singapore Consensus on Global AI Safety Research Priorities

快速提升的人工智能能力和自主性具有巨大的变革潜力，但同时也引发了关于如何确保人工智能安全（即可信、可靠和安全）的激烈讨论。因此，建立一个值得信赖的生态系统至关重要——它有助于人们充满信心地接受人工智能，并在避免引发反作用的同时，为创新提供最大的空间。 “2025年新加坡人工智能大会（SCAI）：人工智能安全国际科学交流会”旨在通过召集来自不同地区的人工智能科学家，共同确定和整合人工智能安全领域的研究重点，从而推动这一领域的研究。本报告在此基础上形成，延续了由约书亚·本吉奥（Yoshua Bengio）担任主席、并获得33个国家政府支持的《国际人工智能安全报告》的框架。本报告采用纵深防御模型，将人工智能安全研究领域归纳为三类：在开发阶段面临的构建可信人工智能系统的挑战（Development，研发），在评估阶段面临的风险评估挑战（Assessment，评估），以及在部署后面临的监控与干预挑战（Control，管控）。

该论文旨在应对人工智能系统快速发展的背景下，如何确保AI系统的安全性、可靠性与可控性的问题。具体来说，它聚焦于构建一个多层次的防御体系（defence-in-depth model），从AI系统的开发（Development）、评估（Assessment）到部署后控制（Control）三个层面识别研究优先级。这个问题在当前AI系统日益复杂和自主化的趋势下尤为重要，虽然已有一定研究基础，但通过国际科学合作进行系统性的优先级整合仍是一个较新的方向。

论文采用“纵深防御”模型，将AI安全研究划分为三大核心领域：开发可信AI系统、评估其潜在风险、以及部署后的监控与干预机制。这一结构化框架不仅帮助厘清研究重点，还促进了跨地域科研协作。相比以往零散的研究方向，该论文通过国际会议和多方共识形成统一的研究路线图，具有更强的系统性和协同创新价值。

1. 基于2025年新加坡AI国际会议成果，汇聚全球AI科学家共识 2. 依托Yoshua Bengio牵头、33国政府支持的国际AI安全报告 3. 提出三层结构化研究框架，为政策制定和技术研发提供清晰路径 4. 强调国际合作与标准统一的重要性，推动AI安全生态建设

1. Bengio, Y. et al. (2025). International AI Safety Report. 2. Amodei, D. et al. (2022). Concrete Problems in AI Safety. 3. Leike, J. et al. (2023). Alignment of Language Models via Training from Human Feedback. 4. Russell, S. (2021). The Need for a New Foundation for AI Research. 5. Brundage, M. et al. (2024). International Coordination in AI Safety Research.