以创新为引擎，驱动AI生态的可持续发展！

在Mengzi3-13B大模型3月底开源后不久，澜舟科技全新推出的又一款轻量化大模型——Mengzi3-8B，现已正式开源！并同样支持免费商用。

这款模型在多个应用场景中，包括写作、代码、摘要以及阅读理解等，均展现出与Mengzi3-13B相媲美的性能，而模型参数规模更为精简，更适合个人开发者和AI爱好者使用。

Mengzi3-8B适用于多种自然语言处理任务，主要包括：

文本生成：能够轻松产出高质量、多样化的中文文本内容，涵盖写作，摘要，问答，翻译，阅读理解等多种文本生成场景；
对话系统：为用户提供高效、智能的交互体验，让对话更加流畅自然；
代码生成：协助开发者提升编码效率，激发创新灵感。

核心优势

低显存高推理，具备更高效能。Mengzi3-8B是一款高效、低显存需求的AI大模型，半精度下显存占用小于16G，适用于PC（如MacBook）和大部分消费级显卡（如RTX 4090、RTX 4080、RTX 4070Ti）。此外，Mengzi3-8B的原生推理速度在同级别模型中处于领先地位，特别适合个人开发者和AI爱好者使用，真正实现了高效、低成本的AI体验。

知识处理效果卓越。Mengzi3-8在中文能力、英语、世界知识（MMLU）、编程及数学等多个领域的知识处理和问题解决能力中，均显著超越同尺寸开源模型，展现出全面的领先实力。

使用指南

欢迎大家访问Mengzi3-8B的开源仓库以获取更多信息并下载使用，体验其强大的功能。

开源地址：

Huggingface
https://huggingface.co/Langboat/Mengzi3-8B-Base
Modescope
https://www.modelscope.cn/models/langboat/Mengzi3-8B-Base/summary

快速开始：

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Langboat/Mengzi3-8B-Base", use_fast=False, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained("Langboat/Mengzi3-8B-Base", device_map="auto", trust_remote_code=True)inputs = tokenizer('输入：介绍一下孟子。输出：', return_tensors='pt')if torch.cuda.is_available():    inputs = inputs.to('cuda')pred = model.generate(**inputs, max_new_tokens=512, repetition_penalty=1.01, eos_token_id=tokenizer.eos_token_id)print(tokenizer.decode(pred[0], skip_special_tokens=True))"""孟子（约公元前372年—约公元前289年），名轲，字子舆，战国时期邹国人，伟大的思想家、教育家，儒家学派的代表人物，与孔子并称“孔孟”。孟子继承和发展了孔子的思想，成为仅次于孔子的一代儒家宗师，对后世中国文化的影响全面而巨大，有“亚圣”之称，与孔子合称为“孔孟”。"""