大语言模型（LLM）微调技术笔记

大语言模型（LLM）微调技术笔记by Tao Yang

https://github.com/ninehills/ninehills.github.io/issues/92 

0x41 相关项目

1. LMFlow : 一个可扩展、方便和高效的工具箱，用于微调大型机器学习模型。支持所有 Decoder 模型的微调。
2. FastChat: FastChat is an open platform for training, serving, and evaluating large language model based chatbots.
3. PEFT: 参数高效微调工具库。支持 LoRA、Prefix Tuning、P-Tuning、Prompt Tuning、AdaLoRA等方法。
4. LLM-Adapters: 对 PEFT 的扩展，支持AdpaterP、AdpaterH、Parallel 等方法。
5. ChatGLM-6B: 清华开源中文大模型，及微调训练工具库。
6. ChatGLM-Efficient-Tuning: 对 ChatGLM-6B 进行参数高效微调。
7. LLMZoo: Phoenix-inst-chat-7b 中文模型（基于BLOOMZ）及微调训练工具库。
8. BELLE: 基于 LLaMA 的中文模型及微调训练工具库。
9. Linly: 基于 LLaMA 使用中文增量预训练以及微调训练的中文模型。
10. Chinese-LLaMA-Alpaca: 基于 LLaMA 使用中文增量预训练以及微调训练的中文模型。

内容中包含的图片若涉及版权问题，请及时与我们联系删除