RecurrentGemma: Moving Past Transformers for Efficient Open Language Models

LLM PTSAD Long Context ML Mamba/SSM RNN
2024年04月11日
我们介绍了RecurrentGemma，这是一个使用谷歌新的Griffin架构的开放式语言模型。Griffin将线性递归与局部注意力相结合，以在语言处理方面取得出色的性能。它具有固定大小的状态，可以减少内存使用量，并且能够对长序列进行有效的推断。我们提供了一个预训练模型，具有2B个非嵌入参数，以及一个经过调整的变体。尽管这两个模型训练的标记较少，但它们都实现了与Gemma-2B相当的性能。
We introduce RecurrentGemma, an open language model which uses Google's novel Griffin architecture. Griffin combines linear recurrences with local attention to achieve excellent performance on language. It has a fixed-sized state, which reduces memory use and enables efficient inference on long sequences. We provide a pre-trained model with 2B non-embedding parameters, and an instruction tuned variant. Both models achieve comparable performance to Gemma-2B despite being trained on fewer tokens.
许愿