Spectrum: Targeted Training on Signal to Noise Ratio

由于需要大量的计算资源，高效地训练大型语言模型仍然是一个具有挑战性的任务。我们提出了一种名为 Spectrum 的方法，通过选择性地针对具有信噪比（SNR）的层模块并冻结其余模块来加速LLM训练。我们的方法在训练之前利用算法计算模块SNR，已经证明在减少GPU内存使用的同时有效地匹配了完全微调的性能。通过与QLoRA等现有方法进行比较的实验，证明了Spectrum在模型质量和分布式环境中的VRAM效率方面的有效性。

论文旨在解决大型语言模型训练中所需的巨大计算资源的问题，提出了一种名为Spectrum的方法。

Spectrum方法通过选择性地针对信噪比（SNR）较高的层模块并冻结其余模块来加速LLM训练。该方法使用算法在训练之前计算模块的SNR，已经证明可以在减少GPU内存使用的同时有效地匹配完整微调的性能。

论文的亮点包括使用Spectrum方法可以在分布式环境中提高模型质量和VRAM效率，实验设计合理，使用了多个数据集进行验证，论文开源了代码。

与该论文相关的研究包括QLoRA等现有方法，以及最近在大型语言模型训练领域中的其他研究，如Switch Transformers、Adaptive Attention Span等。