标题：斯坦福｜On the Opportunities and Risks of Foundation Models（论基础模型的机遇与风险）

推荐理由：从大模型的能力、原理、技术、应用等方面分析了当前流行模型

简介：随着模型（例如 BERT、DALL-E、GPT-3）的兴起，人工智能正在经历范式转变，这些模型在大规模的广泛数据上进行训练并且能够适应各种下游任务。我们称这些模型为基础模型，为了强调它们至关重要但不完整的特征。本报告全面介绍了基础模型的机遇和风险，包括其能力（例如，语言、视觉、机器人、推理、人机交互）和技术原理（例如，模型架构、培训程序、数据、系统、安全、评估、理论）的应用（例如，法律、医疗保健、教育）和社会影响（例如，不平等、滥用、经济和环境影响、法律和道德考虑）。尽管基础模型基于传统的深度学习和迁移学习，但它们的规模产生了新的应急能力，并且它们在如此多的任务中的有效性激励了同质化。同质化提供了强大的杠杆作用，但需要谨慎，因为基础模型的缺陷会被下游所有适应模型继承。尽管基础模型即将广泛部署，但我们目前对它们如何工作、何时失败以及由于它们的紧急特性而具有的能力缺乏清晰的了解。为了解决这些问题，我们相信对基础模型的许多批判性研究将需要与其基本社会技术性质相称的深入跨学科合作。

下载地址：https://arxiv.org/pdf/2108.07258v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除