直播预告｜大规模预训练语言模型CPM-Live及应用

大模型系列直播课

CPM-Live及应用

—

最近 ChatGPT 爆火，大模型时代显然已经来临。11 月起，智东西策划「大模型系列直播课」，聚焦最具代表性的大规模预训练模型，讲解大模型的构建技巧和开发工具，挖掘大模型的应用案例。受 智东西公开课视觉 AI 教研组 邀请，OpenBMB 开源社区主要发起者、面壁智能联合创始人兼 CTO 曾国洋 将于 12 月 22日 19：00 代表OpenBMB参与到「大模型系列直播课」第4讲 中，分享主题为《大规模预训练语言模型CPM-Live及应用》。

一些千亿乃至万亿级别的大模型更多聚焦于科研用途，并不太适合产业级别的规模化应用，这正是CPM-Live的诞生背景。OpenBMB 特别针对产业化应用训练 包含一系列大模型的 CPM-Live。今年九月，OpenBMB 发布了一期大模型 CPM-Ant：一个开源的中文预训练语言模型，拥有 10B 参数，也是国内首个直播训练百亿大模型，训练耗时 68 天，花费 43 万人民币。基于 CPM-Ant，所有大模型开发者与爱好者都可以开发感兴趣的文本趣味应用，比如文本劲爆标题生成。目前，二期大模型 CPM-Bee 的训练正在火热进行中，本次直播曾国洋还会分享 CPM-Bee 的最新进展。

在计算层面，OpenBMB 推出了 BMTrain、OpenPrompt、OpenDelta、BMInf、BMCook 等大模型全流程加速工具包，涵盖了大模型高效训练、高效微调、高效推理与高效压缩。在本次直播课中，曾国洋将首先分析 大模型训练与应用的挑战，之后重点讲解 百亿大模型 CPM-Live 的训练加速及全流程工具包。最后，他也将分享 CPM-Live 在下游任务中的适配及应用。