悟道·天鹰Aquila 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。
悟道·天鹰Aquila 语言大模型是在中英文高质量语料基础上从 0 开始训练,通过数据质量的控制、多种训练的优化方法,实现在更小的数据集、更短的训练时间,获得比其它开源模型更优的性能。
“悟道·天鹰”Aquila 语言大模型系列包括Aquila基础模型、AquilaChat对话模型与AquilaCode“文本-代码”生成模型。
悟道·天鹰 AquilaChat 通过 FlagEval 平台进行了评测,当前在“主观+客观”评测维度上,以大约相当于其他模型 50% 的训练数据量达到了最优性能(SFT 数据+预训练数据分别统计),但由于当前的英文数据仅训练了相当于Alpaca的40%,所以在英文的客观评测上还暂时落后于基于LLaMA进行指令微调的Alpaca。随着后续训练的进行,相信很快可以超越。
https://flageval.baai.ac.cn/#/trending
开源地址:
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
更多数据情况,请期待官方技术报告,预计月底发布
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢