Super Tiny Language Models

这篇论文介绍了一系列研究工作，致力于开发超小型语言模型（STLMs），旨在在显著减少参数数量的同时提供高性能，以解决大型语言模型（LLMs）的高计算和能源需求所带来的挑战。我们探索了创新的技术，例如字节级标记化与汇聚机制、权重绑定和高效的训练策略。这些方法共同将参数数量减少了90%至95%，同时保持了竞争性能。这一系列论文将探讨各种子问题，包括无标记化模型、基于自我对弈的训练和替代训练目标，针对具有1000万、5000万和1亿参数的模型。我们的最终目标是使高性能语言模型更易于访问和实用于各种应用。

本论文旨在通过超小型语言模型（STLMs）解决高计算和能源需求的问题，以使高性能语言模型更具可访问性和实用性。

本论文提出了一系列创新技术，包括字节级标记化与池化机制，权重绑定和高效训练策略，以将参数数量降低90％至95％，同时保持竞争性能。

论文将研究重点放在超小型语言模型（STLMs）的各个子问题上，包括无记号模型，自我对抗训练和替代训练目标，以实现10M，50M和100M参数的模型。实验使用了不同的数据集和训练方法，并且开源了代码。

最近的相关研究包括：《Efficient Transformers: A Survey》、《TinyBERT: Distilling BERT for Natural Language Understanding》、《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》等。