3月18日，澜舟科技在主题为“创新落地、生态共赢”的大模型技术和产品发布会上，隆重推出了其“一横N纵”孟子大模型系列及产品体系。其中，“一横”的核心——孟子大模型技术，经过高效迭代后，孟子大模型V3版本的Mengzi3-13B也正式与大家见面。

今日，澜舟科技正式宣布Mengzi3-13B开源！对学术研究完全开放，同时支持免费商用。

开源地址

GitHub：https://github.com/Langboat/Mengzi3
HuggingFace：https://huggingface.co/Langboat/Mengzi3-13B-Base
ModelScope：https://www.modelscope.cn/models/langboat/Mengzi3-13B-Base
Wisemodel：https://wisemodel.cn/models/Langboat/Mengzi3-13B-Base

期待大家给出更多反馈！

快速开始

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Langboat/Mengzi3-13B-Base", use_fast=False, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained("Langboat/Mengzi3-13B-Base", device_map="auto", trust_remote_code=True)inputs = tokenizer('介绍一下孟子：', return_tensors='pt')if torch.cuda.is_available():    inputs = inputs.to('cuda')pred = model.generate(**inputs, max_new_tokens=512, repetition_penalty=1.1, eos_token_id=tokenizer.eos_token_id)print(tokenizer.decode(pred[0], skip_special_tokens=True))

相较于今年1月发布的孟子大模型GPT V2系列（包括孟子大模型-标准、孟子大模型-轻量、孟子大模型-金融、孟子大模型-编码），Mengzi3-13B在数据集质量上有了显著的提升。其采用的Mengzi-3数据集规模高达3T tokens，涵盖了网页、代码、书籍、论文等多元化、高质量的数据来源。

在MMLU、Chinese-MMLU、GSM8K、HUMAN-EVAL等多项公开数据集进行的模型效果评估中，Mengzi3-13B均展现出了卓越的性能表现。在参数量20B以内的轻量化大模型领域，Mengzi3-13B在中英文语言能力方面的成绩尤为突出，具备了出色的实用性和高性价比，能更好的满足企业的商业化需求。