Docker LLaMA2 Chat - Play LLaMA2 (official / 中文版 / INT4 / llama2.cpp) Together! ONLY 3 STEPS! ( non GPU / 5GB vRAM / 8~14GB vRAM)' Su Yang

三步上手 LLaMA2，一起玩！相关博客教程已更新，使用 Docker 快速上手，本地部署 7B 或 13B 官方模型，或者 7B 中文模型。

  • Meta Llama2 模型， 使用 4090 验证，需要 8~14GB 显存
  • 中文 Llama2 模型，使用 4090 验证，需要 8~14GB 显存
  • 量化后的中文 Llama2 模型，使用 4090 验证，需要 5GB 显存
  • 使用 GGML (llama.cpp) 模型，只需要 CPU 就能够运行模型

你可以参考项目代码，举一反三，把模型跑起来，接入到你想玩的地方，包括并不局限于支持 LLaMA 1代的各种开源软件中。

Github：https://github.com/soulteary/docker-llama2-chat/blob/main/README.md 

内容中包含的图片若涉及版权问题，请及时与我们联系删除