LokiLM: Technical Report

在这项工作中，我们介绍了LokiLM，这是一个拥有14亿参数，训练了5000亿标记的大型语言模型。我们的模型在自然语言推理任务中表现强劲，并在拥有15亿参数或更少的模型中取得了最先进的性能。LokiLM使用多教师知识蒸馏和高质量的训练数据进行训练，以实现与训练了更多标记的更大型号的模型竞争的基准结果。我们通过在整个开发过程中采取措施避免基准污染和过拟合来支持这些发现。尽管LokiLM表现出令人期待的性能，但它存在令人担忧的幻觉，并在TruthfulQA基准测试中得分较低，因此我们不会公开发布该模型。

LokiLM试图解决的问题是在自然语言推理任务中，使用较少的参数数量实现与较大模型相当的性能。作者还发现LokiLM存在幻觉问题，无法在TruthfulQA基准测试中得到良好的得分。

论文中提出了LokiLM，一个使用500B令牌训练的1.4B参数大型语言模型，采用多教师知识蒸馏和高质量训练数据进行训练，以实现与更大模型相当的基准结果。同时，作者还介绍了避免基准污染和过拟合的步骤。

该论文的亮点包括LokiLM在自然语言推理任务中表现出色，实验设计合理，使用高质量数据集和多教师知识蒸馏进行训练。然而，LokiLM存在幻觉问题，无法在TruthfulQA基准测试中得到良好的得分，因此作者没有公开发布该模型。

最近在这个领域中，还有一些相关的研究，例如GPT-3，Turing-NLG，ELECTRA等。