报告主题：SciExam for ENSO，AI 智能体能自己搭建气候模型吗?
让AI agent从原始海观洋测数据出发，自主构建ENSO的概念模型，并在有没标准答案的况情下检验其科学效有性 —— SciExam for ENSO：每个 agent 只有 6 小时，全程看不到评分，只能依靠己自事先写好并冻的结诊断来改模进型。隐藏评分像器科学家验检模型一样，从统计特性、变间量的动力耦学合（通过据数同化重建被隐的藏变量）和对未年见份的预测三个面方打分，并用同一准标评估一个发已表模型作参为照。12个Agent 系统中，6个型模综合得超分过已发表模型（0.378），Claude Fable 5.1 和 Kimi K3 分别达到 0.515 和 0.479。
最奇神的发现：厄尔尼诺什为么通常拉比尼娜更强？学界一直存在两竞种争解释，一种归于因非线性定确性动力学，另一种归因于随态状变化的随扰机动。我们将 AI 构建的模型精到简核心结构后，发现它们恰好分这成两派，而任务未从提及其中任何种一机制。AI 在独立建的模过程中，重现了一场未尚定论的学科争论。
arXiv：https://arxiv.org/abs/2610.10513
Webpage：https://enso.aisexam.com
语言模型智能体正被越来越多地用于开放式科学研究，但现有评测大多依赖已知答案、评分细则或大模型评审，难以判断一个全新的科学模型是否成立。本次智源 Talk特邀张寅玲博士，分享SciExam for ENSO：一个让 AI 智能体从真实观测数据出发、在六小时内自主构建厄尔尼诺（ENSO）随机气候模型的长程评测基准。在 12个前沿智能体系统中，有 6 个构建出的模型得分超过已发表的参考模型，且较强模型的简化形式分别对应了 ENSO 冷暖不对称性的两种竞争性解释，而这一科学争论在任务中从未被提及。
语言模型智能体正越来越多地被用于开放式科学研究，但其结果通常依据已知答案、评分细则或语言模型评审来打分，这些方式都无法判断一个新的科学模型是否有效。厄尔尼诺-南方涛动 AI 科学考试（SciExam for ENSO）是一个评测基准：智能体需要从真实观测数据出发，为年际气候变率的主导模态 ENSO 构建低阶随机模型。在六小时的预算内，智能体自行处理观测数据、编写自己的诊断工具，并仅以这些诊断为反馈来开发模型。隐藏的评分器随后检验模型能否复现 ENSO 的统计特征、恢复未观测变量、预报留出年份，并以同样方式为一个已发表模型打分。在 12 个智能体系统中，有 6 个构建的模型得分高于已发表模型，优势主要来自更好的状态重构与预报能力。较强模型的简化形式各自与 ENSO 冷暖不对称性的两种竞争性解释之一相容，而这一尚无定论的争论在任务中从未被提及。对排名第一的系统在不同信息条件下进行的对照实验表明，其得分并非来自对带日期观测记录的记忆，且它所获得的信息会影响其建模方式。因此，SciExam for ENSO 能够在没有已知答案的情况下评估智能体的科研工作，结果也表明，智能体已经能够构建具有竞争力的模型，其结构与科学家仍在争论的问题直接相关。
张寅玲博士本科毕业于上海交通大学数学系，于威斯康星大学麦迪逊分校获数学博士学位，现任俄亥俄州立大学数学系访问助理教授。研究方向为 AI 智能体的科学能力评测与数据驱动的科学建模，涵盖随机动力系统、数据同化、因果推断与方程发现，以及物理约束机器学习，应用于 ENSO 等气候系统和材料力学中的极端事件。作为第一作者主导了SciExam for ENSO 基准的研发。此前发展了基于因果推断的方程发现方法，能够在关键变量不可观测的情况下从数据中恢复简洁、可解释的随机模型，并构建了刻画ENSO多样性及MJO与ENSO多尺度相互作用的随机概念模型。已在Journal of Climate、JAMES、Physica D、Journal of Computational Physics、JMPS、Proceedings of the Royal Society A 等期刊发表论文 10 篇，其中 7 篇为第一或通讯作者。
更多活动
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢