Beginner’s guide to Llama models

Llama 是 Meta (Facebook) 推出的首个开源大型语言模型，可以看作是对 ChatGPT 的开源化回应。这篇文章是一篇关于 Llama 模型的入门指南，覆盖了关于这个模型很多关键的信息，尤其适合想学习 Llama 的初学者阅读参考。

Llama 入门指南

Llama 代码、训练数据和训练方法完全开放。相比 ChatGPT 专有闭源，Llama 容易运行在个人计算机上，7亿和13亿参数的模型就可以正常使用。

Llama 工作原理

Llama 是一个预测下一个词的语言模型，可以看作是一个高级的自动完成功能。它通过大量互联网文本进行训练，理解上下文联系才能更准确预测下一个词。虽然只是预测下一个词，但通过大量文本训练，Llama 学会了一些人类思维模式。

Llama 与 ChatGP T比较

相比ChatGPT，Llama 是开源的，可以本地运行，更保障隐私。也可以针对自己的需求进行模型定制和训练。而 ChatGPT 是封闭源代码，所有问题都保存在公司服务器上。

Llama 用途

可以问答、写代码、创意写作等，功能基本等同于 ChatGPT。具体来说，可以问问题获取信息，生成代码样本，总结文章要点，创作故事，修改语句风格等。

Llama 支持的语言

Llama 主要支持英语，训练集90%是英语。也支持德语、法语、中文等其他语言，但效果不佳，不太适合机器翻译。

运行Llama 需求的硬件

需要 GPU 卡运行 GPTQ 格式的模型，需要足够 RAM 运行 GGML 格式模型。具体来说，不同大小的模型需要不同显存和内存支持。

Llama 的8位和4位量化模型

8位和4位模型通过量化方法减小模型大小，降低运行内存需求，但可能会略微降低性能。这些模型每个参数只用8比特或4比特来表示，大幅降低内存占用。

Llama 的不同版本

  • Llama 1：Llama 1于2023年2月发布，是第一个开源的大型语言模型，只允许非商业使用。其发布引发了很多基于该模型的二次开发。

  • Llama 2：Llama 2于2023年7月发布，进行了迭代优化，修改了许可协议，允许商业使用。预计将引发新的开发潮流。

  • WizardLM：WizardLM 是在 Llama 基础上精调的模型系列，通过大量照着指令对话的训练数据增强了执行指令的能力。

  • Vicuna：Vicuna 同样基于 Llama 进行了精调，训练数据来自 ChatGPT 的对话。相比原始 Llama 能提供更人性化的对话。

Llama 模型比较方法

比较模型主要指标有 Chatbot Arena、MT-bench和MMLU。Chatbot Arena 通过让用户评价回答质量打分；MT-bench 用 GPT-4 评价回答；MMLU 测试57项不同任务的表现。

模型格式选择建议

如果有N卡，使用 GPTQ 格式性能更好；如果是 Mac 或无 GPU，使用 GGML 格式。

Llama 安装指南

提供了 Windows 和 Mac 系统下 Llama 模型的安装指南。

运行 Llama 的软件

推荐 text-generation-webui 图形界面和 llama.cpp 命令行界面两种软件。

Llama 的商业授权

Llama 1不可商用，Llama 2可以商业化使用

内容中包含的图片若涉及版权问题，请及时与我们联系删除