LLMTune: 在消费级GPU上微调大型65B+LLM

LLMTune: 在消费级GPU上微调大型65B+LLM。可以在普通消费级GPU上进行4位微调，例如最大的65B LLAMA模型。LLMTune还实现了LoRA算法和GPTQ算法来压缩和量化LLM，并通过数据并行处理大型模型。此外，LLMTune提供了命令行界面和Python库的使用方式。

LLMTune: 4-Bit Finetuning of LLMs on a Consumer GPU - 4-Bit Finetuning of Large Language Models on One Consumer GPU' kuleshov-group

https://github.com/kuleshov-group/llmtune

内容中包含的图片若涉及版权问题，请及时与我们联系删除