2022年10月13日，我们开启了CPM-Live第二期模型CPM-Bee的训练。在CPM-Ant的基础上，CPM-Bee考虑了任务模式增强、多语言融合、复杂结构处理等新特性。CPM-Bee训练即将完成，成果到底如何？我们决定将CPM-Bee“拉出来遛遛”。

ZeroCLUE是中文零样本学习权威榜单，在学术界和工业界有着广泛的影响力，自发布以来已经吸引了百度、阿里云、IDEA 研究院、澜舟科技等多家企业和研究院的参与。为了验证模型的泛化能力，我们选用这个榜单做了一下测评。

1月15日，CPM-Bee 模型在 ZeroCLUE 榜单上登顶榜首，距离上一次刷新仅仅四天，并且将总分提高了3.375分，超过了原排名前五的模型间分数提升之和。

ZeroCLUE 榜单（2023.01.16）

CPM-Bee是一个开源的双语预训练语言模型，参数量为10B，模型不仅有十余种原生能力（仍在持续增加），更是具有强大的通用语言能力。CPM-Bee模型是直播训练开源大模型CPM-Live项目的二期成果。

CPM-Bee 何以登顶 ‍‍‍‍

—

‍‍‍‍‍‍‍‍‍

01 多任务预训练 🐝

CPM-Bee 在预训练过程中引入各类常见任务模式的数据增强，包括分类、生成、问答、摘要、翻译、信息抽取等任务，使得 CPM-Bee 在各类文本处理任务上能够开箱即用。我们共选取了超过 20 种任务，收集和整理了 50 余个开源数据集，同时使用已有的高质量中英文数据构造了多种任务数据进一步增强预训练数据。针对每种任务，我们也构造了不同的数据格式，并加入多个人工编写的指令（instruction），保证数据的多样性。

02 结构化输入输出 🐝

已有的预训练语言模型主要立足于利用非结构化文本进行训练，因而对于半结构化及结构化数据的处理能力较弱。在 CPM-Bee 中，我们加入了各类半结构化及结构化数据的处理功能。用户无需考虑如何将已有数据压缩为一个字符串，可以直接将 JSON 格式的数据输入模型，就可以很方便地完成微调和推理，极大地降低了模型的使用门槛。以 ZeroCLUE 上的情感分析任务（EPRSTMT）为例，模型的输入可以是选择题的格式：

{
    "句子": "糖果新机配置很好，价格不贵，十分实惠，用着不卡",
    "选项":{
        "<option_0>": "积极",
        "<option_1>": "消极"
    },
    "问题": "这句话的情感是？",
    "<ans>": ""
}

模型的答案是 <option_0> 。我们的输入同样可以不给选项：

{
    "句子": "糖果新机配置很好，价格不贵，十分实惠，用着不卡",
    "问题": "这句话的情感是？",
    "<ans>": ""
}

此时，CPM-Bee也能够通过生成的方式给出答案 “积极”。

03 通用语言能力 🐝

除了在 ZeroCLUE 榜单上的各个文本理解任务上表现优异之外，CPM-Bee 也拥有着很强的通用语言能力，可以通过文本生成的方式完成很多有意思的任务，例如写作文、生成菜谱、推荐礼物等等。下面是 CPM-Bee 为我们生成的猪肉炖粉条菜谱，妈妈再也不用担心我不会做饭了

。

{
    "前文": "猪肉炖粉条的做法：",
    "<ans>": """
        1、粉条提前用温水泡软，捞出控干水分备用。
        2、猪肉洗净切块，放入锅中焯水后捞出沥干水分。
        3、热锅倒油，倒入肉块翻炒至变色。
        4、加入葱姜蒜炒香。
        5、倒入开水没过肉块。
        6、大火烧开后转小火炖煮40分钟。
        7、加入泡好的粉条继续炖10分钟。
        8、最后加盐调味即可出锅。"""}

04 支持中英双语 🐝‍

虽然上述例子都是中文的，但 CPM-Bee 也使用了英文数据进行预训练，同样能够完成各类英文任务以及中英翻译任务。

小蜜蜂，国际范！‍

CPM-Bee 模型体验

—

根据 CPM-Bee 的能力，OpenBMB 开发了「模力表格」应用，试图让大模型真正作用于普通人的生产生活。「模力表格」是一款大模型驱动的表格效率工具，在保留表格工具原有全部功能基础上，通过大模型实现文本内容的批量化语义“计算”，进一步提升了表格工作效率。大模型能力以函数形式嵌入，不用配置环境、不用跑代码，只用打开熟悉的表格，输入大模型函数即可。IE、QA、MT、SA、SM 等短短几个函数就可以一键处理大批量文本，轻松满足大家在工作学习中的信息抽取、问答、翻译、情感分析和摘要等多种文本处理需求。

此外，OpenBMB 的官网也上线了 CPM-Bee 体验页面，可以体验结构化输入输出。页面上方可以看到模型训练的总吞吐量、总花费和总天数，之后左下角也会更新模型供大家下载，右边则是模型能力的测评雷达图。