自 ChatGPT 发布以来，大模型的强大让人们看见了通用人工智能的曙光，各个科技大厂也纷纷开源自家的大语言模型。然而，大模型也意味着高昂的硬件成本，让不少平民玩家望而却步。


为了让大模型走入千家万户，赋能百业，上海人工智能实验室开发了低成本大模型训练工具箱 XTuner，旨在让大模型训练不再有门槛。通过 XTuner，最低只需 8GB 显存，就可以打造专属于你的 AI 助手。


https://github.com/InternLM/xtuner

（文末点击阅读原文可直达，欢迎体验）



X 种选择



XTuner 提供了丰富的功能，上图中的各项功能都可以随意组合搭配。


除单点功能外，XTuner 还有以下三个黑科技，让开发者可以做到真正的“面向数据”工作。


高效的数据引擎


XTuner 适配了多个热门开源数据集格式，开发者如已有对应格式的数据集，可以直接使用，并支持多种格式数据源的混合使用：

  • Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式

  • MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用

  • Gunacao 格式，QLoRA 项目中所使用数据集的格式

  • OpenAI  格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式

  • 更多数据集格式正在持续添加中......


pip install xtuner# 训练混合了 Alpaca 格式和 Gunacao 格式的数据xtuner train internlm_7b_qlora_alpaca_enzh_oasst1_e3


除了支持多种数据集格式外，XTuner 还针对大语言模型数据的特点，对各种数据集格式做了充分的解耦，相较于其他的 Finetune 开源项目，可以在不破坏 Chat 模型对话模版的情况下，对 Chat 模型进行 Finetune。


pip install xtuner# 不破坏 Chat 模型对话模版，继续增量指令微调xtuner train internlm_chat_7b_qlora_oasst1_e3


针对 GPU 计算特点，在显存允许的情况下，XTuner 支持将多条短数据拼接至模型最大输入长度，以此最大化 GPU 计算核心的利用率，可以显著提升训练速度。例如，在使用 oasst1 数据集微调 Llama2-7B 时，数据拼接后的训练时长仅为普通训练的 50% 。


多种训练引擎


XTuner 首次尝试将 HuggingFace 与 OpenMMLab 进行结合，兼顾易用性和可配置性。支持使用 MMEngine Runner 和 HuggingFace Trainer 两种训练引擎，开发者如有深度定制化需求，可根据使用习惯灵活配置。


pip install xtuner
# 使用 MMEngine Runner 训练xtuner train internlm_7b_qlora_oasst1_e3
# 使用 HugingFace Trainer 训练xtuner train internlm_7b_qlora_oasst1_e3_hf


一键启动训练


XTuner 内置了增量预训练、单轮&多轮对话指令微调、工具类指令微调的标准化流程，让开发者只需聚焦于数据本身。


同时， XTuner 集成了 QLoRA、DeepSpeed 和 FSDP 等技术，提供各种尺寸模型在各种规格硬件下的训练解决方案，通过 XTurner 一键式启动训练，仅需 8GB 显存即可微调 7B 模型。


pip install 'xtuner[deepspeed]'# 8G 显存微调 Llama2-7Bxtuner train llama2_7b_qlora_oasst1_512_e3 --deepspeed deepspeed_zero2


基于此，开发者可以专注于数据，其他环节放心交给 XTuner，抽出更多精力去奔向大模型的星辰大海！



X 种玩法


通过 XTuner，开发者可以给大模型添加插件，补足大模型欠缺的能力，甚至获得某些 ChatGPT 才有的技能。


XTuner 在 HuggingFace Hub 上提供了丰富的大模型插件，以下示例都可以在 Hub 中找到，欢迎大家下载体验！


ColoristLlama -- 你的专属调色师


通过在少量颜色注释数据集上对 Llama2-7B 进行指令微调训练，XTuner 成功解锁了其调色能力。最终得到的模型甚至可以像“你的甲方”一样反复修订！



pip install xtunerxtuner chat hf meta-llama/Llama-2-7b-hf --adapter xtuner/Llama-2-7b-qlora-colorist --prompt-template colorist


Llama "联网" -- 更可靠及时的回答

借助 XTuner 及插件开源数据集，我们还解锁了 Llama 2、QWen 等开源模型的隐藏能力， 使其可以像 ChatGPT 一样联网搜索、调用工具，获得更可靠的回复。



除了上述介绍，我们还有更多有趣的其他模型插件，欢迎大家下载体验~


https://huggingface.co/xtuner




X 种可能


XTuner Logo 的设计灵感来源于吃豆人，开发团队希望赋予 XTuner 更多的趣味属性，与开源社区一起“玩”转大模型，开发多种趣味十足的应用。你的任何 idea，都欢迎在 XTuner 的讨论区讨论，寻找与你志同道合的伙伴~


https://github.com/InternLM/xtuner/discussions


（欢迎大家扫码加入交流群）


XTuner 团队也将持续低成本复刻社区热门项目，让更多的人可以参与到大模型的浪潮中来。




上海人工智能实验室围绕大语言模型，开源了一系列的工具箱，欢迎大家体验。


InternLM：即书生·浦语大模型，包含面向实用场景的 70 亿参数基础模型与对话模型 （InternLM-7B）。

https://github.com/InternLM/InternLM


LMDeploy：面向大模型部署的推理工具链，支持十亿到千亿参数语言模型的高效推理。推理性能领先开源社区。

https://github.com/InternLM/lmdeploy


OpenCompass：面向大模型评测的一站式、全方位评测平台，包含超过 40 个评测集、30 万评测题目。通过全自动分布式评测，保障开源模型性能可高效复现。

https://github.com/InternLM/opencompass


Lagent：基于大语言模型的轻量级、开源智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。

https://github.com/InternLM/lagent



与清北大佬共成长，海量好礼等你拿！新一轮 MMSIG 招募开启

2023-08-29

颠覆传统视频生成！基于大规模多模态扩散模型的文本到视频生成

2023-08-28

超燃超嗨！OpenMMLab 首次网友面基大会回顾

2023-08-26




点击下方“阅读原文”直达 XTuner，欢迎体验

内容中包含的图片若涉及版权问题，请及时与我们联系删除