近日，OpenAI政策研究主管Miles Brundage在推特上分享了一篇新论文，论文内容是对一个GPT-3研讨会的总结。

2020年10月14日，来自OpenAI、斯坦福大学HAI研究所等机构的研究人员召集在一起，讨论围绕GPT-3的开放研究问题。

参与研讨会的学者有各种研究背景，包括计算机科学、语言学、哲学、政治学、通信、网络政策等。大致来讲，本次研讨会围绕两个主要问题：

大型语言模型的能力和局限性是什么？讨论涉及几个关键领域，包括：规模型对模型功能的巨大影响；评估大型语言模型是否真正理解语言的困难；在多种数据模态下训练模型的重要性；以及使模型目标与人类价值观相一致的挑战。

被广泛使用的大型语言模型的社会影响是什么？讨论涉及了几个关键领域，包括：难以确定通用语言模型的所有可能使用（或滥用）场景；机构在模型部署中可能面临的挑战；模型在算法层面上泄露信息的潜在可能；减少模型偏见（例如：种族、性别、宗教信仰等）存在的阻碍；以及基于语言模型的自动化应用对劳动力市场的影响。

在会后，来自斯坦福大学、OpenAI 与 AI Index 的数位参会者对讨论内容进行了整理与概括，撰文如下：

论文链接：https://arxiv.org/abs/2102.02503

在开放性的讨论中，作者等人希望给大家提供多角度观点，引起思考，共同寻求解决方案。

点击这里，阅读关于讨论的详细介绍。

如果你正在从事或关注预训练模型研究、实现与应用，欢迎加入“智源社区-模型预训练-交流群”。在这里，你可以： * 学习前沿知识、求解疑难困惑 * 分享经验心得、展示风貌才华 * 参与专属活动、结识研究伙伴 获取更多预训练相关信息，欢迎前往智源社区【预训练专区】

内容中包含的图片若涉及版权问题，请及时与我们联系删除