TinyLlama: An Open-Source Small Language Model

我们介绍了TinyLlama，这是一个紧凑的1.1B语言模型，使用约1万亿个标记进行了约3次预训练。TinyLlama基于Llama 2的架构和分词器，利用了开源社区贡献的各种进展（例如FlashAttention），实现了更好的计算效率。尽管它的大小相对较小，但TinyLlama在一系列下游任务中表现出了显着的性能。它显著优于具有可比大小的现有开源语言模型。我们的模型检查点和代码可在GitHub上公开获取：https://github.com/jzhang38/TinyLlama。

TinyLlama试图提出一种小型但高效的预训练语言模型，以解决计算资源有限的场景下的自然语言处理问题。

TinyLlama基于Llama 2的架构和分词器，结合开源社区的一些进展，采用FlashAttention等技术，提高计算效率。虽然模型相对较小，但在一系列下游任务中表现出色，显著优于现有的开源语言模型。

实验结果表明，TinyLlama在语言模型预训练、问答、文本分类等任务上都表现出色。研究者还提供了模型检查点和代码的GitHub链接，方便其他研究人员使用和扩展。此外，TinyLlama的设计思路可以为其他小型预训练语言模型的构建提供借鉴。

近期的相关研究包括：《GShard：用于大规模深度学习的高效低精度通信》、《TinyBERT：3000万个参数的小型BERT模型》、《TinySPEECH：一个小型语音识别模型，具有可扩展性和高精度性能》等。