PLaMo-100B: A Ground-Up Language Model Designed for Japanese Proficiency

我们介绍了PLaMo-100B，这是一个专门为日语能力设计的大规模语言模型。该模型使用了2万亿个标记进行了从头训练，采用了QK规范化和Z-Loss等架构，以确保在训练过程中的稳定性。在训练后，采用了监督微调和直接偏好优化等后处理技术，以提高模型的性能。基准评估表明，PLaMo-100B表现良好，特别是在日语特定任务方面，其结果与GPT-4等前沿模型相当。

PLaMo-100B试图解决日语自然语言处理的问题，提高日语处理的准确性和效率。这是一个新问题，因为目前的大多数语言模型都是以英语为主要语言进行训练的。

该论文的关键思路是使用2万亿个标记对PLaMo-100B进行从头训练，并应用了多种后训练技术来提高模型的性能，例如监督微调和直接优化偏好。此外，该模型采用了QK规范化和Z损失等架构来确保训练过程的稳定性。

该论文的亮点包括PLaMo-100B在日语特定任务中表现出色，与GPT-4等前沿模型的表现相当。实验使用了多个数据集进行评估，包括日语问答、文本生成和机器翻译等任务。该论文开源了PLaMo-100B的代码和预训练模型，并提供了详细的技术细节和实验结果。

最近在这个领域中，还有一些相关的研究正在进行，例如《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。