H2O-Danube-1.8B Technical Report

我们介绍了H2O-Danube-1.8B，这是一个1.8B语言模型，根据LLama 2和Mistral的核心原则，使用1T个标记进行训练。我们利用和改进了各种大型语言模型的预训练技术。尽管我们的模型训练的总标记数量比相似规模的参考模型要少得多，但在多个基准测试中，它表现出高度竞争的指标。此外，我们还发布了一个通过监督微调和直接优化偏好进行训练的聊天模型。我们以Apache 2.0许可证的形式公开发布H2O-Danube-1.8B，进一步将LLMs民主化，让更广泛的受众能够经济地使用。

本论文旨在介绍一种基于LLama 2和Mistral核心原则的1.8B语言模型，通过精细调整预训练技术，使其在相对较少的总标记数量下表现出高度竞争的指标。

论文的关键思路是通过精细调整预训练技术，构建一个相对较小的语言模型，使其在多项基准测试中表现出高度竞争的性能。

该论文提出的H2O-Danube-1.8B模型在多项基准测试中表现出高度竞争的性能，同时还发布了一个通过有监督微调和直接偏好优化训练的聊天模型。该模型已经在Apache 2.0许可下开源。

最近的相关研究包括GPT-3、T5等大型语言模型。