我在去年感恩节后的星期天收到了这封电子邮件，当时我刚从密歇根州的家庭旅行回到圣达菲的家中。该实验室国家安全人工智能办公室主任杰森·普鲁特 （Jason Pruet） 邀请我参加一个会议，讨论该实验室即将到来的人工智能投资的领导力。他没有直接表示他会让我做这件事，但我有一种感觉，我的职业生涯即将转向。
到 2023 年秋天，AI 的潜力已经变得不容忽视。行业生产的 AI 的最新版本正在执行五年前无法想象的任务。这不仅仅是因为他们在编写连贯的文本或生成从未存在过的人的图像;他们还在做我们应该在国家实验室做的事情。Microsoft 刚刚发布了一个新的 AI 气候模型，该模型在天气和短期气候预测方面都表现良好。谷歌使用深度学习发现了超过 200 万种新的潜在无机晶体，比人类发现的所有努力都多几个数量级。在未来一年左右的时间里，OpenAI 将发布一个能够进行复杂推理的模型，其水平可与博士生相媲美。
我承认我仍然持怀疑态度。我是一个古怪的统计学家，长期以来，我甚至对机器学习这个词都不屑一顾，因为它感觉就像是重新命名的统计学（回想起来，我只是个混蛋）。AI 真的能解决科学中最复杂的问题吗？我们如何信任这些模型来处理敏感的机密数据？尽管如此，很明显，如果政府不开始投资于人工智能，以促进科学、国家安全和公共利益，我们就有可能将这一阵地拱手让给行业和对手。
这就是为什么在 2023 年秋季，实验室领导层呼吁少数在机器学习方面经验丰富的研究人员撰写白皮书。任务是描述致力于构建科学 AI 的实验室运营是什么样子，以及如何解决为国家安全科学构建 AI 的技术问题。那时，我已经在实验室工作了将近 20 年，我职业生涯的大部分时间都花在了使用统计学来帮助回答从核物理学和宇宙学到火星地质学的科学问题上。在过去的两年里，我一直在高级仿真和计算部门 （ASC） 担任机器学习项目负责人。但事实证明，对撰写我提交的白皮书最有帮助的是，我在 2022 年的大部分时间里都担任了能源部 （DOE） 一系列 AI 研讨会的实验室负责人。来自全国各地的 1200 多名科学家参加了会议，我们将他们的反馈浓缩成一份 206 页的报告，名为“AI 在科学、能源和安全领域的高级研究方向”。这是一个战略计划，说明了 DOE 需要如何以及为什么开始大规模投资 AI。
感恩节后的那个晚上，我们十几岁的儿子上床睡觉后，我和妻子 Jessie 围坐在一起，想看看谁能先完成《纽约时报》的填字游戏（她像往常一样完成了）。我告诉她，我现在可能应该决定是否要对这个职位说“是”。这将是一个突然的变化。如果我接受了它，我不知道几年后项目结束后我会做什么。但我心中从来没有怀疑过。从病态上讲，我无法夸大事情，但这感觉像是千载难逢的机会。这与曼哈顿计划有一个明显但宏大的类比——一个协调一致的多学科团队，致力于开发一项有可能改变世界的技术。很难想象那种影响，但这不是坏的动力。
统计根源
我来自一个家庭两边的纸牌玩家。我爸爸和他爸爸都是半堕落的扑克玩家，那个时代意味着酒吧关门后在后室里玩很多游戏。我小时候从他那里学会了如何玩大约 20 种扑克，每一种都是玩赔率的教育。我爸爸最终买了其中一根酒吧，在我 12 岁时，他在打架中杀死了人后进了监狱。在我妈妈这边，他们的纸牌困扰是一种叫做 euchre 的游戏。我的祖父母、阿姨和叔叔可以玩得如此之快，以至于外人几乎不可能跟上。我 14 岁时，我妈妈死于车祸，我和妹妹搬到了密歇根州巴德阿克斯，与我妈妈的哥哥和他的家人同住。我最终学会了跟上比赛的节奏。这些游戏让我成为了纸牌玩家对随机性和不确定性的热爱。
这种背景解释了为什么我在密歇根大学的第一堂统计学课感觉如此自然。开始上大学感觉有点像在经历了多事的童年之后终于过上了正常的生活。我还没来得及决定我想学什么，统计数据似乎表明我不必做出选择。有句老生常谈的话说，成为一名统计学家意味着你可以在别人的后院玩。如果我成为一名统计学家，我可以在我的余生中学习一点点所有东西。
我在统计学领域成长的时候，这个领域开始意识到它需要从铅笔和纸转向计算机。当时，互联网有点大不了。文件共享正在接管。当时正值数字革命之中，数据科学正在爆炸式增长。我的教育主要围绕传统的统计方法展开，比如线性回归和高斯过程。这些技术对数据生成过程和结果分布做出了假设。他们非常擅长在他们开发用来处理的更小、更有限的数据集中寻找关系。但到了早期，各行各业都意识到，如果你有大量的数据，并且可以从中提取洞察，就会有优势。
对我来说，这转化为机会。获得统计学学位后，我于 2000 年秋天在密歇根大学开始了我的博士课程。我的导师来自贝尔实验室，他一直对现实世界的问题感兴趣——应用统计学。我的第一份实习是在一位精神科医生那里，他使用来自动作捕捉相机的数据，看看他是否能从他们的移动方式中分辨出谁患有抑郁症。我的下一个实习是在贝尔实验室，在那里我使用统计数据来测试光纤电缆的功效。电缆制造商从未给我任何实际数据，只是一个带有数据图像的 PowerPoint 演示文稿。那年夏天我所做的大多数应用统计都涉及对演示文稿进行黑客攻击以获取时间序列数据。
加州大学伯克利分校 （University of California， Berkeley） 教授里奥·布雷曼 （Leo Breiman） 很早就描述了统计向大数据的转变。2001 年，他发表了一篇名为“统计建模：两种文化”的论文，将该领域推向了机器学习。Breiman 认为，有太多的学术统计学家证明了深奥的东西，并主张更多地采用应用方法，即统计学家开发新的方法来解决实际问题。老实说，这篇论文让我有点生气。那时，我唯一接触统计学的机会是在一所大学课程中，该课程专注于使用统计学来解决现实世界的问题。感觉就像 Breiman 只是在告诉我们一堆每个人都应该已经知道的明显事情。但它也引起了共鸣。我对抽象理论从来不感兴趣。我想解决现实世界的问题 — 最好是及时且相关的问题。
开创性的统计方法
我的论文是关于互联网流量模型的，我选择这个主题是因为它让我可以处理很多很酷的图表（我意识到我在这里听起来必须很酷）。但它也是相关的，一旦我完成，我就收到了来自宾夕法尼亚州立大学、IBM 和一家位于加利福尼亚州山景城的互联网搜索初创公司的录取通知书，这家公司刚刚上市（我可能错误地拒绝了这个）。我也有一封来自洛斯阿拉莫斯的。那时，实验室的统计小组已经接近 50 年，在统计界以介于工业界和学术界之间而闻名。这是统计学最初吸引我的真实世界版本——一种探索所有这些不同科学的方法，增加到 11 级。当我收到录取通知书时，我在密歇根大学认识的妻子拥有法律和城市规划学位，我决定圣达菲是一个很酷的小镇。为什么不在山里住一会儿呢？我们从没想过我们会在这里超过五年。
我在实验室的第一个项目定义了我职业生涯的其余部分。在发现宇宙因暗能量而膨胀后，科学家们需要一种方法来模拟宇宙在不同条件下的演化方式。这些预测的计算模型成本高得惊人。每个模拟都改进了数十亿个粒子的位置，从大爆炸之后到现在。只有少数几个地方可以真正以高分辨率运行这些模型，洛斯阿拉莫斯就是其中之一。当我在 2006 年加入时，该团队已经在实验室的一台主力超级计算机上为 37 个宇宙运行了模拟。他们花了整整一年的时间。我的工作是找到一种方法来预测新模拟的结果，而无需缓慢、耗费资源的计算。大约在那个时候，一种称为 emulators 的新方法正在开发中，可以加快这一过程。我在实验室的导师 Dave Higdon 是该领域的先驱之一。
到 2022 年冬天，AI 的潜力已经变得不容忽视。
具体来说，我们使用了高斯过程，这使我能够使用模型的输入来预测输出，而无需运行完整的仿真。当时，我的第一个儿子刚刚出生，我睡眠不足，几乎无法专注于代码，更不用说第一次就把它做好了。但那个项目——尽管很累——正是我喜欢在实验室做统计的原因：我们解决了一个大而混乱、引人入胜的问题，并创造了一个可以产生真正影响的工具。当我在 2008 年完成这个项目时，我将其命名为 Cosmic Emu。任何地方的科学家都可以从互联网上下载它，根据他们的需要调整模拟器的参数，并在几秒钟内从他们的笔记本电脑中获得数千个预测。
16 年后，我仍然能得到关于宇宙鸸鹋的笔记。有时人们写信告诉我代码中的错误需要修复;有时他们有一个宇宙学问题，我不得不礼貌地告诉他们我不知道他们在问什么，因为我是一名统计学家，不懂任何科学。但是宇宙鸸鹋在实验室里把我的脚压在了脚下。之后，我将仿真器应用于预测材料和网格性能的问题。我有一份工作帮助一个团队识别火星上岩石的化学成分，另一份工作是我使用模拟器来预测太空垃圾何时会挡住卫星。
在接下来的 15 年里，我基本上一直在将我已经了解的模拟器应用于广泛的问题，为（我现在更愿意称之为）可以解决复杂科学问题的机器学习奠定了基础。然后是 AI，以及一整套让我既兴奋又害怕的进步。
从仿真器到 AI
规模似乎使 AI 与我们之前所做的工作区分开来。数据、计算和模型比以前大得多。行业正在训练具有互联网上所有文本上数千亿个参数的模型。它需要数十万个 GPU，这些 GPU 是为处理复杂的图形计算而开发的专用处理器。
在大多数情况下，当我说 AI 时，我指的是基础模型，即预先训练用于执行通用任务的大型模型，这些任务可以快速适应以执行新任务。这个想法是，该模型已经学习了数据的一些非常通用的表示形式以及它们之间的关系，因此它可以推广到新的任务。这意味着可以训练 GPT-4 和 BERT（双向编码器表示）等模型使用大量数据预测序列中的下一个单词，然后进行调整以编写诗歌和程序。
我在统计领域成长的时候，这个领域开始意识到它需要从铅笔和纸转向计算机。
这些模型的关键创新是变压器。这种架构源于人们在构建可以从一种语言翻译成另一种语言的模型方面所做的工作。在一篇论文中，Yoshua Bengio 和合作者在他们的神经网络模型中添加了一个组件，该组件改进了翻译，因为该模型使用序列中的其他单词来找出最佳翻译。他们指出，该模型可以注意单词的上下文。后来，在他们的论文《注意力就是你所需要的》（Attention is All You Need）中，来自 Google（早期的互联网搜索初创公司）的研究人员引入了转换器，它只使用注意力机制，完全放弃了其他神经网络机制。
大型语言模型隐含地代表了一个有趣的假设：我说话，因此我想（GPT 4o，它比我说拉丁语更好，将其翻译为“Loquor， ergo cogito”）。这似乎不太可能，并且至少需要一个额外的步骤来采用适用于语言的序列模型并将其应用于科学数据。例如，我们的模拟数据通常是随时间演变的 3D 场。这里的关键思想是 vision transformer。Google 的研究人员再次将 transformer 应用于图像，方法是将图像划分为多个块，计算这些补丁的顺序，然后将 transformer 模型应用于它们。2023 年，Microsoft 的研究人员采用了这个想法，并使用它来使用气候模拟和观测数据集构建气候预测模型。给定仿真的当前状态，该模型可以提前预测不同数量的时间步长。这就像语言方法一样，预测下一个单词，但使用的数据要复杂得多。
这就是我们想在洛斯阿拉莫斯做这种工作的灵感。这也是我开始觉得熟悉的时候。Cosmic Emu 将输入输入到模拟中，并使用它们来预测输出。它永远不会了解模型内部发生的事情。它只是不够强大。这些新模型可以从仿真运行的整个序列中学习。凭借大量不同的数据，他们应该能够了解控制这些模拟的物理场知识。如果我们能在一个或少量的基础模型中捕获它，我们就有了一些东西可以用于实验室的整个任务空间。我们还有很长的路要走，我们不知道它是否会奏效，但道路很明确。
“随着 AI 能力开始改变科学、能源和安全的几乎每个方面，在 AI 和包括高性能计算在内的基础能力方面建立领导地位，将与国家的未来及其在全球秩序中的作用密切相关。”
当大流行来袭时，我发现自己被更深地拉入了 AI 中。2019 年，美国能源部与来自所有实验室的科学家举办了一系列会议，讨论 AI，部分原因是我们刚刚完成了对百万兆次级计算的大力推动，其中包括将实验室的新超级计算机 Venado 带到了洛斯阿拉莫斯。我帮助组织和举办了开幕研讨会的会议。人们有一种感觉，人工智能可能是下一个大事件，但随后疫情来袭，在某种程度上扼杀了这种势头。
与此同时，我于 2020 年成为统计科学组组长，然后在 2021 年成为 ASC 机器学习项目组长。这两个角色都让我对实验室的内部运作有了新的看法。特别是，ASC 角色为科学家在洛斯阿拉莫斯和整个 DOE 应用机器学习的不同方式提供了很好的视角。
与此同时，AI 正在发生变化。Google 关于 BERT 的论文于 2019 年发表。OpenAI 关于 GPT-3 的论文于 2020 年发表。2021 年，200+ 页的论文《论基础模型的机遇和风险》于 2021 年问世。ChatGPT 将于 2022 年底问世。
形势发生了很大变化，以至于 DOE 在 2022 年组织了一系列新的研讨会。作为 ASC 机器学习项目的负责人，我在组织实验室的参与方面发挥了重要作用。结论很有趣，即使用经过净化的官僚语言写成也是如此。在会议结束后发布的《2023 年科学、能源和安全人工智能》报告中，有一句话说：“随着人工智能能力开始改变科学、能源和安全的几乎所有方面，在 AI 和包括高性能计算在内的基础能力方面建立领导地位，将与国家的未来及其在全球秩序中的作用密切相关。
如果我们成功了，我们就可以迅速推进有益于全社会的科学主题的科学步伐。还有一些可怕的部分，我们洛斯阿拉莫斯比大多数人都更了解。
会议结束后，Jason Pruet 和 Jason 在阿贡国家实验室的同行 Rick Stevens 开始与国会和美国能源部领导层接洽，为 AI 研究提供资金。接近 2023 年底，实验室宣布人工智能是一项标志性的机构承诺，将资金和精力用于开发实验室的技术，在感恩节假期后的星期一早上，我前往办公室参加与 Pruet 的会议，在那里我将接受一个新的全职职位，领导实验室努力开发人工智能科学。
用于任务的 AI
令我小儿子非常高兴的是，我将 AI 项目命名为 Science fAIr，他认为这很搞笑。我们刚刚读完了他的六年级版本。在他和同事的充分催促下，我们将名称更改为 ArtIMis，即 Artificial Intelligence for Mission。这是一个雄心勃勃的项目。我们现在有来自超过 12 个不同部门的 100 名研究人员。他们是实验室在数据科学领域最优秀的人才。该项目的目标是为实验室的广泛任务开发变革性的 AI 功能。一个为期三年的项目已经进行了六个月，我们真的才刚刚开始。
第一个推动力也是我们最雄心勃勃的目标是为实验室科学设计基础模型。挑战在于我们是否可以在大型和多样化的科学数据集上预训练模型，然后调整它们以解决实际的实验室问题。当前的模型难以处理多模态数据，但这是 Lab 的一个潜在优势，我们可以将多种类型的模拟和实验汇集在一起。
当使用较少的数据进行训练时，当前模型在寻找模式和进行预测方面表现不佳。我们有一个问题是，如果数据质量更高，它们是否可以变得更好。我们的试点项目包括用于识别新疗法的生物安全模型、用于预测材料断裂的材料科学模型以及用于预测复杂系统行为的多物理场模型。如果成功，我们的目标是生成模型本身和构建这些模型的可重复过程。这些模型可靠吗？多少数据才足够？我们能否在有限的数据集中保持准确性？我们能否开发一个适用于不同学科的基础模型？我们希望回答这些问题以及其他问题。
第二个主旨是设计、发现和控制，侧重于优化流程和推动创新。如果做得好，我们希望使用 AI 来加速新实验的设计、自动化实验室工作和控制制造。挑战在于设计能够处理模型复杂性和受物理定律支配的许多相互作用参数的方法。但我们在这方面拥有悠久的专业知识历史，AI 非常适合这些问题。我们的第一个试点项目旨在将 AI 集成到能源系统规划中。
目前，感觉我们正在从头开始建立一个新的部门。为了支持这两项主要工作，我们设立了其他团队，致力于对 AI 性能进行基准测试、制定数据管理策略和评估 AI 风险等关键方面。每个团队都在实时迭代，在我们前进的过程中协调工作。
在我写这篇文章的时候，诺贝尔物理学奖刚刚授予了 Geoffrey Hinton 和 John Hopfield，以表彰他们在 AI 方面的工作。看到 AI 和数据科学得到这样的认可，真是令人兴奋。在宣布之后，霍普菲尔德博士做了一个类比，就像我之前对曼哈顿计划所做的类比一样，人工智能和原子分裂之间，这导致了丰富和可怕的后果。在 AI 和国家安全的关系中工作时，这一点尤其重要。如果我们成功了，我们就可以迅速推进有益于全社会的科学主题的科学步伐。还有一些可怕的部分，我们洛斯阿拉莫斯比大多数人都更了解。
人们还问
- 为什么 AI 对科学有价值？ 现代科学依赖于大数据，大数据使用大量信息来回答棘手的科学问题。但是，发现隐藏在复杂数据中的模式需要时间。借助经过多个科学学科训练并针对准确性进行了优化的 AI，可以快速处理大量数据，揭示科学家可能错过的模式并回答问题。
- 为什么 AI 对国家安全有价值？确保国家安全依赖于破译从不同信息来源出现的模式的能力。AI 可以快速处理大量数据，这对于预测和应对新出现的威胁非常宝贵，但它也有助于简化成本、战略规划和安排维护。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢