GitHub Copilot是由微软、OpenAI、GitHub 三家联合打造的 AI 编程辅助工具,根据此前的报道,Copilot需要付费使用。近日,一款名为fauxpilot的开源GitHub Copilot 服务器爆火,目前在GitHub上已收获8k+ star。
这是尝试构建一个本地托管版本的GitHub Copilot。它使用SalesForce CodeGen模型,位于NVIDIA Triton Inference Server内,使用FasterTransformer后端。
如果想要在本地搭建fauxpilot,
您需要:
- Docker
- docker-compose >= 1.28
- 一张计算能力 >= 6.0 并且具有足够 VRAM 运行所需模型的 NVIDIA GPU。
- nvidia-docker
- 用于下载和解压缩模型的 curl 和 zstd。 请注意,setup.sh 列出的 VRAM 要求是总共的。如果您有多个 GPU,则可以将模型分配给它们。因此,如果您有两个 NVIDIA RTX 3080 GPU,则可以将模型分别分配到每个 GPU 上以运行 6B 模型。
开源地址:https://github.com/fauxpilot/fauxpilot
评论
沙发等你来抢