2023年展望

2023 年我们应该对AI领域有哪些期待？斯坦福大学人本AI研究院（HAI）的四名教授描述了他们对明年最大的进展、机遇和挑战的展望。

Chris Manning：更好的基础模型

斯坦福人工智能实验室主任、HAI 副院长Chris Manning 说：基础模型——无需额外训练即可用于各种下游任务的巨型模型——已经取得了巨大进步，而明年还会有所改善。他希望看到数据和数据管理方面的改进——“不仅是更大的数据收集，而且是在提高数据质量和清除来自网络随机爬取的有毒或有偏见的信息方面有更多工作投入。”

他希望看到增长的一个领域是：稀疏模型。 稀疏模型是一种以更高效或更紧凑的方式表示复杂数据的方式，它可以更快地计算并且需要更少的内存来存储。

“总的来说，我希望看到算法的进步，让你拥有更大的规模，”他说。

Percy Liang：视频的生成时刻

计算机科学副教授兼 HAI 基础模型研究中心主任 Percy Liang 说，虽然文本和图像生成 AI 是今年的大新闻，但视频将成为 2023 年的一大焦点。 “捕捉远程依赖关系具有挑战性，但技术将持续改进，至少从较短的视频开始，”他说。 “明年我们可能会达到这样一个地步，我们将无法区分是人类还是计算机生成了视频。 今天，如果你观看一段视频，你会期望它是真实发生的，但我们将看到人们这种顽固的心智逐渐消失。”

李飞飞：不断变化的生态系统，更多的政府资金

一个健康的 AI 领域应该是什么样的？ 斯坦福大学教授、斯坦福 HAI 联席院长李飞飞指出，太多的初创公司仍然依赖于开放模型的稳定性，无法开发自己的模型。 但随着今年对基础模型的主要关注和风险资金的流动，她预计 2023 年会有更多参与者进入该领域。

不过，计算和数据是初创企业的瓶颈，因此联邦政府可能会加大对国家科研云或多边人工智能研究机构等计算资源的投资。 “人们担心使生态系统更加活跃和多样化的初创公司没有获得足够的资源。”她说。

Russ Altman：不成熟的人工智能激增

工学院生物工程教授、HAI 副院长 Russ Altman 说，到 2023 年将看到“人工智能在成熟或准备就绪之前就以令人震惊的方式推出”。 “我担心我们目前的政府不会在任何有意义的监管方面取得进展，而且某些领域肯定需要监管。”

他指出旧金山最近提议允许警察部署可能致命的遥控机器人，或者可能滥用可以根据简短提示生成类似人类文本的工具——想想有多少聪明的五年级学生通过寻求聊天机器人的帮助，逃过作文作业，他说。

对于 2023 年，“我预计会有 AI 系统还没有真正做好准备，而仅仅因为行业过热就出来了，”Altman 说。 “在某些方面，这将使 HAI 的整个使命更加相关和重要。”

2022年回顾

HAI同一天发布的另外一篇文章，则对2022年AI领域做了回顾。

如果我们将今年人工智能领域的最大进步提炼成一个标题，那就是——生成式人工智能。 今年，各公司竞相推出了 ChatGPT、DALL-E 2 等重要模型，能力令人印象深刻，并引发了关于潜在危害的争论。

今年还有哪些也引起媒体关注的？有意识的人工智能（sentient AI）、大型语言模型、蛋白质结构、政策蓝图。

大模型纷至沓来

在文生图模型 DALL-E 2021年用牛油果扶手椅给人们留下深刻印象之后，2022 年 OpenAI 又发布了功能更强大的新版本。 谷歌的 Imagen 于 5 月推出， Midjourney 于 7 月在公开测试版中推出了 DALL-E 竞争对手，Stability.AI 的 Stable Diffusion 于 8 月向公众开放，DALL-E 2 于 9 月完全开放。 就在本月，OpenAI 基于 GPT-3 的聊天机器人 ChatGPT 开放公开测试，这个最新的强大答案引擎引起了轰动。

尽管今年的模型令人印象深刻，但这些工具仍然显示出在互联网上训练的人工智能所固有的偏见、种族主义和性别歧视。 例如，研究 Stable Diffusion 的学者发现，“自信的消防员”被描绘成白人，而“忠诚的看门人”是有色人种，在 Reddit 上，版主禁止了几个使用这些工具制作名人色情片的小组。 更不用说在一些生成的图像中识别出自己作品的艺术家抱怨的渗透版权问题。

尽管如此，我们仍然看到广告公司、平面设计师、客户服务初创公司、应用开发商等在他们的工作中使用这些图像和文本模型，而微软在 2019 年向 OpenAI 投资了 10 亿美元，并将 DALL-E 添加到其 Office 软件。

如果 NeurIPS 会议上的小道消息可信的话，那更值得关注的是，GPT-4 也即将发布了。

对 AI 有意识的恐慌

今年夏天，在一位谷歌工程师声称大模型 LaMDA 有灵魂之后，人工智能世界在 Twitter 上争议不断。 大多数技术专家都认为，AI产生意识远非现实，但模型已经足够好，可以诱使人们认为他们正在与真正的智能进行对话。 这一进步和其他 AI 进步激发了一些学者重新审视著名的图灵测试（评估机器是否可以成功地诱使人类认为他们正在与另一个人交谈）。 例如，BIG-Bench是一种衡量和推断语言模型能力的基准，于 6 月问世。

人工智能权利法案——政策的开始

今年 10 月，拜登政府发布了一份人工智能权利法案，为公众制定了一系列保护措施，使其免受算法系统及其潜在危害的侵害。

该蓝图结合了研究人员和技术专家（参见 HAI 的建议）、倡导者、记者和政策制定者的反馈，列出了指导人工智能开发、部署和使用的五项关键原则：系统必须安全有效； 他们不得歧视； 必须尊重数据隐私； 我们应该了解一个系统是如何使用的，它是如何工作的； 我们应该能够选择退出并寻求人类替代方案。

批评者很快注意到这些建议不具有法律约束力且没有效力，但该蓝图确实在美国建立了一些规范，以帮助指导开发商并制定未来的立法。

蛋白质结构和药物发现

DeepMind 的 AlphaFold 工具于 2020 年推出，可对许多蛋白质结构进行高度准确的预测。今年，研究人员使用该工具预测了来自约 100 万个物种的 2 亿多种蛋白质的结构。 Nature 指出，这几乎涵盖了地球上所有已知的蛋白质。 与此同时，今年 Meta 也将其 AI 力量集中在蛋白质结构上，并预测了来自细菌、病毒和其他尚未表征的微生物的 6 亿种蛋白质结构。

由于大多数药物都是根据这些 3D 蛋白质形状设计的，因此预测方法的进步可以将药物市场推向新的方向，并扩大计算机药物发现工作的可能性。

斯坦福大学今年在AI方面的主要进展：
HELM 发布
随着大型模型变得越来越强大和有用，我们需要透明地了解它们的工作情况。 这启发了 HELM，这是一个由斯坦福 HAI 基础模型研究中心的学者开发的基准项目。 HELM 根据准确性、校准、鲁棒性、公平性、偏差、毒性、效率和其他指标评估这些巨型模型。 学者们使用这个基准分析了由 OpenAI、Anthropic、Meta、Microsoft、BIGScience 等开发的 30 种著名语言模型。 可以在这里了解这些工具的工作原理以及 HELM 的工作原理。

加速大型模型训练和推理

大的 transformer 模型意味着大的计算量：它们核心的注意力层是计算和内存的瓶颈，使得很难为模型配备长上下文。 斯坦福学者提出 FlashAttention 是为了让注意力快速且节省内存，无需近似。 该算法最大限度地减少了内存读写次数，将 GPT 等模型的速度提高了 3 倍。 它在具有竞争力的 MLPerf 基准测试中在云实例上生成最快的 BERT 模型，并生成具有 4 倍长上下文的更高质量的模型。

在发布后的短短时间内，FlashAttention 已经被许多组织（例如，在 OpenAI,  Microsoft,  Meta,  PyTorch,  NVIDIA, 和许多 其他机构）广泛采用，以加速大型语言模型和图像生成扩散模型的训练和推理。FlashAttention 是一个很好的例子，说明学术界的伟大技术工作如何迅速被工业界采用。

使用 AI 了解历史
Stanford HAI 的一个 Hoffman-Yee 研究基金团队 设计了 AI 的有趣用途：作为了解历史的镜头。 在今年发表的一篇论文中，他们分析了 140 年来关于移民的政治演讲，以追踪和了解人们对移民的态度。 他们发现从 1940 年开始，支持移民的态度急剧上升，而且政党之间也存在分歧。 虽然这些发现当然很有趣，但更重要的是，学者们正在使用 AI 工具以历史学家以前从未有过的方式研究历史。

超越“越大越好”
在过去的几年里，我们注意到语言模型的一个趋势：更大的规模似乎会带来更好的性能。 但扩展伴随着巨大的计算和能源成本。 在这项获得 NeurIPS 杰出论文奖的研究中，包括 HAI 副主任 Surya Ganguli 在内的学者关注训练数据集的大小。 他们的研究表明，许多训练示例是高度冗余的，因此我们能够将训练数据集修剪到更小的大小，并在这些较小的数据集上进行训练，而不会牺牲性能。 在这项工作中，他们开发了一种新的数据修剪分析理论，展示了他们的理论在实践中的有效性，对 10 种数据修剪指标进行了基准研究，并开发了一种不需要标签的无监督数据修剪指标。 他们的工作表明，与其收集大量随机数据，不如智能地收集少量精心挑选的数据，从而以更少的能源和计算成本保持性能。

学者/社区合作研究 COVID 
在众多大流行病挑战中，其中之一是确保社区能够根据最佳健康信息采取行动。 包括 HAI 副主任 Daniel E. Ho 在内的斯坦福大学研究人员与圣克拉拉县公共卫生部门合作创建了一个机器学习系统，该系统有助于将人们的预测语言需求与 COVID-19 接触者追踪计划的双语成员相匹配。 该算法降低了人们总体上不愿参与该计划的意愿，并显着缩短了案例时间，同时还强调了人工智能如何用于改善人们的生活和社区。 （可以在这篇文章中了解更多信息。）

敲响警钟
除了令人兴奋的 AI 技术进步外，斯坦福大学的教员还就其快速而不受阻碍的进步发出了警告。 在这篇关于图灵陷阱的深思熟虑的文章中，斯坦福 HAI 中心数字经济实验室的教员主任 Erik Brynjolfsson 指出，虽然人类水平的智能可以创造许多经济利益，但它也可能导致经济和经济的重新调整。 将工人的利益重新分配给所有者并增加全球财富和权力集中度的政治权力。

在《自然》杂志发表的一篇关于人工智能在化学和材料开发中的观点文章中，斯坦福学者 Sadasivan Shankar 和 Richard N. Zare 解释了机器学习在该领域的双重用途困境：虽然该技术可以帮助我们开发精准医学来帮助个人，它也可以设计病毒或毒素来针对具有特定基因的人。 虽然它可以用来发明更可持续的材料，比如可生物降解的塑料，但它也可以用来设计一种无味的化合物，这种化合物可能会毒害社区的供水系统。