随着BERT、GPT-3、DALL·E等超大模型的兴起，自监督学习+预训练模型微调适配方案，逐渐成为主流。这种范式会先在超大规模海量数据上进行自监督的模型预训练，然后适配到广泛的下游任务。

自监督训练使得基础模型（Foundation Models）对显式注释的依赖性下降，也带来了智能体基本认知能力（例如，常识推理）的进步。

但与此同时却也导致了基础模型的「涌现」与「同质化」特性。所谓「涌现」，意味着一个系统的行为是隐性推动的，而不是显式构建的；所谓「同质化」，即基础模型的能力是智能的中心与核心，大模型的任何一点改进会迅速覆盖整个社区，其隐患在于大模型的缺陷也会被所有下游模型所继承。

自监督学习+微调的方案，作为一种研究范式，其带来的利弊在当下的人工智能研究中日益凸显。如何才能更好地研究这种范式（以及这些模型）呢？

针对这一问题，Percy Liang，李飞飞等一众学者，根据这些模型的中心地位和不完备性，将其统一命名为基础模型（Foundation Models),并建立了基础模型研究中心（CRFM,Center for Research on Foundation Models),以探索基础模型面临的机遇和挑战。

近期，Percy Liang、李飞飞等人将为此举办一场 Workshop of Foundation Models(8月23~24日)。在研讨会之前，100多位学者联名发表了一份 200 多页的研究综述《On the Opportunities and Risk of Foundation Models》。

本文为这篇综述的解读文章，按照原文体系结构重新调整和梳理了基础模型的时代问题，旨在帮助领域科研工作者更好的研究、部署以及形成安全可靠的应用提供借鉴和研究参考。

限于长度，本文对原文内容有删改。

论文研究路线按照四个部分，分别阐述了基础模型的能力、应用领域、技术层面和社会影响四个方面，层次结构组织如下：

  • 能力：语言、视觉、机器人学、推理、交互、理解等；
  • 应用：医疗、法律、教育等；
  • 技术：模型内部角度(建模、训练、适应、评估)，模型输入输出角度（数据），模型的系统性分析角度（数据、安全与隐私、稳健性、理论、可解释性）
  • 社会影响：不平等、滥用、环境、法规、经济、伦理道德等。

内容中包含的图片若涉及版权问题，请及时与我们联系删除