卷友们好,我是rumor。

大模型是一个实验工程,涉及数据清洗、底层框架、算法策略等多个工序,每个环节都有很多坑,因此知道如何避坑和技术选型非常重要,可以节省很多算力和时间,说白了就是一摞摞毛爷爷。

近期百川智能发布了Baichuan2的7B和13B版本,可能不少卷友被刷屏惯了没有仔细看,他们在放出模型的同时也给了一份技术报告,里面干货满满,因此我自来水一波,带大家一起看看百川积累的KnowHow。同时也有一些我没完全懂的地方,希望抛砖引玉,可以一起在评论区讨论。

Pre-train

数据

数据多样性

  1. 从不同的来源获取数据,最好建立一个类目体系,可以提升对整体数据分布的把控,方便后续增减。
  2. 进行聚类和去重,可以通过LSH局部敏感或者稠密向量作为聚类特征,LSH更快一些,但向量可以更好地编码语义。但这里有个问题是需要卡阈值,去重过猛会影响多样性降低泛化能力。因此百川选择的做法是去除一部分,并对剩余的样本打分,作为预训练时采样的权重。

整体去重的流程如下(这里我没太懂的是为何把Document去重放在最后一步,如果放在前面的环节应该可以显著减少句子和段落的数据量):

数据质量

  1. 采用句子级别的分类器进行过滤,这个是业内常用做法了,但具体用什么数据训练,用什么标准标注没有细说。
  2. 对于内容安全,用规则和模型洗掉有害内容,还额外找了一些正向价值观的数据源,提升采样概率。

模型结构

Tokenizer

Tokenizer的难点是平衡压缩比和词表尺寸,比如频繁出现的几个中文是可以用1个token表示的,这样inference时就会很快,但合并的话这几个中文字单独的embedding训练可能就不充分,跟其他字组合时语义表示会不够好。

因此百川使用BPE,选择了比较折中的12万大小,同时披露了以下细节:

  1. 对原始数据不做任何归一化
  2. 把数字完全拆开,可以更好理解数值数据
  3. 为了代码数据,专门增加空格token
  4. 覆盖率在0.9999,只有少量fall back(一种避免OOV的方法,在碰到unknown中文时会变成utf8的byte token)

位置编码

由于有外推的需求,最近位置编码有很多新的工作,比较火的当属RoPE和ALiBi,这里百川都用了,因为他们实验发现位置编码并没有显著影响模型表现,同时进行了速度优化:

  1. RoPE + Flash Attention
  2. ALiBi + xFormers

激活函数

采用了表现更好的SwiGLU,由于SwiGLU有三个矩阵,引入了更多参数,因此百川缩小了FFN层的尺寸(4->8/3再处理成128的倍数)。

Normalisations

  1. 对Transformer的输入采用LayerNorm,对warm-up更鲁棒
  2. 采用了RMSNorm的实现,指计算输入特征的方差,提升计算效率

混合精度

采用BF16,因为其具有更大的范围,可以让训练更稳定,但对于位置编码、优化器等,采用全精度。

提升稳定性

  1. NormHead:对输出的表示进行归一化。首先低频token的模会在训练中变小,进行归一化后可以提升稳定性。另外百川通过对输出表示聚类,发现cosine距离可以将相似语义的聚到一起而L2距离不行,归一化可以消除最终计算logits时点乘中L2的影响。从实验结果可以明显发现loss收敛更好更稳定。
  2. Max-z loss:在训练过程中,百川发现模型的logits都很大,这样就会对解码时的超参数鲁棒性较低,因此增加max-z loss拉低logits的值。

注:对于预训练的优化解读跳过了Infra的部分,不是那么懂。。

Alignment

SFT

  1. 数据质量:采用抽检的方式进行质量把控,抽一批数据检查,不合格全部退回。
  2. 数据数量:100k(目前开源SFT数据还是挺多的,不知道百川出于什么考虑

Reward Model

  1. Prompt多样性:构造了一个200+细分类目的数据体系,尽可能覆盖用户需求,同时提升每类prompt多样性,从而提升泛化能力
  2. Response多样性:用不同尺寸和阶段的百川模型生成答案,不使用其他开源模型(经验证无法提升RM准确率)

PPO

  1. 预先对critic模型进行了warmup
  2. 为提升RL稳定性,进行梯度裁剪

安全

由于模型开源,百川在内容安全上非常细致,包括:

  1. 聘请10位专业审核人员构建了100+安全类目
  2. 用50人的标注团队构建了200K攻击指令
  3. 对于攻击指令,生产多样性很大的回答

总结

Baichuan2的效果比第一版提升了很多,在推理任务上效果翻倍,是目前开源模型中过了最多中文语料的模型。欢迎用过的朋友在评论区反馈效果~



我是朋克又极客的AI算法小姐姐rumor
北航本硕,NLP算法工程师,谷歌开发者专家
欢迎关注我,带你学习带你肝
一起在人工智能时代旋转跳跃眨巴眼


「感恩开源,白嫖开心」

内容中包含的图片若涉及版权问题,请及时与我们联系删除