报告主题:全球最大AI系统提示词开放数据库,AI系统提示词审计

报告日期:9月4日(本周五) 10:30-11:30

报告要点:
系统提示词决定了 AI 的人格、行为边界、工具调用方式以及与用户的互动方式,却长期对用户不可见。来自斯坦福大学、CMU、MIT、UT Austin 等高校和研究机构的研究人员联合发布 System Prompt Index,收集了 Claude、ChatGPT 等 400 多款 AI 产品的 1000 余个系统提示词,并提出首个以用户为中心的系统提示词审计框架AISPA。研究团队进一步对 88 个真实世界 AI 产品进行了审计,发现近 40% 的产品系统提示词至少存在一项 AISPA 标准违规。

系统提示词是 AI 产品背后不可见的“行为准则”,看似只是开发者写下的一段指令,却可能直接影响模型如何回答问题、如何处理危险请求,以及是否会干预甚至影响用户的行为。为系统性评估这些潜在风险,研究团队提出 AISPA,从身份透明、信息真实性、数据隐私、行为安全、用户自主性、危险请求处理、伤害预防、公平与中立等 8 个维度对系统提示词进行审计。

对88个真实 AI 产品的分析显示,2024—2025 年间系统提示词平均长度从约 9,000 字符增长至 30,000 字符,保护性条款比例也从 15% 提升至 38.4%;但仍有接近 40% 的产品至少存在一项标准违规。研究还发现,一些风险并非简单的“允许/禁止”,例如提示词可能模糊 AI 身份、引导 AI 模拟人类朋友,从而潜在增强用户的情感依赖。

论文链接:https://arxiv.org/abs/2607.28617

报告嘉宾:


林香宁,斯坦福大学研究员,卡内基梅隆大学电气与计算机工程硕士,研究方向包括人工智能安全、AI Agent 评测与系统提示词审计。她曾参与 Terminal-Bench 与 Harbor 等 AI Agent 评测项目,并与 UT Austin 助理教授 Jiaxin Pei、斯坦福大学教授 Alex Pentland 等开展 AI Agent 与系统提示词安全相关研究。同时,她是 System Prompt Index(systempromptindex.ai)的联合创始人,参与构建全球最大的 AI 系统提示词开放数据库。作为 AISPA 论文第一作者之一,她与来自斯坦福大学、卡内基梅隆大学、麻省理工学院、UT Austin 等机构的研究者共同提出了首个以用户为中心的 AI 系统提示词审计框架。
 

点上方预约,开播有提醒


更多活动

内容中包含的图片若涉及版权问题,请及时与我们联系删除