Exploring Quantization for Efficient Pre-Training of Transformer Language Models

随着Transformer模型规模的增加，它们的预训练计算需求也随之增加。虽然量化在预训练后和微调期间已被证明是有效的，但在Transformer的预训练过程中应用量化在大规模语言建模中仍然未被广泛探索。本研究旨在探索量化对Transformer的高效预训练的影响，重点关注线性层组件。通过系统地将简单的线性量化应用于权重、激活、梯度和优化器状态，我们评估其对模型效率、稳定性和训练期间性能的影响。通过提供一套有效的量化策略，以在Transformer的预训练过程中应用，我们提高了从头开始的高训练效率，同时保留了语言建模能力。代码可在https://github.com/chandar-lab/EfficientLLMs上获得。

本论文旨在探索量化对于Transformer预训练的影响，特别是线性层组件的影响。研究旨在提供一套有效的量化策略，以在保留语言建模能力的同时从头开始实现高效训练。

通过对权重、激活、梯度和优化器状态进行线性量化，论文系统地评估了量化对模型效率、稳定性和性能的影响。

论文提供了一套有效的量化策略，以在保留语言建模能力的同时从头开始实现高效训练。作者提供了开源代码。

最近的相关研究包括“Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference”（Jacob, et al.，2018）和“Towards Accurate Post-Training Quantization with Integer-Only Arithmetic”（Zhou, et al.，2017）。