Byte Latent Transformer: Patches Scale Better Than Tokens

我们介绍了字节潜在变压器（Byte Latent Transformer，BLT），这是一种新的字节级大语言模型架构，首次在大规模上匹配基于分词的大语言模型性能，并在推理效率和鲁棒性方面有显著改进。BLT将字节编码为动态大小的块，这些块作为主要计算单元。块的分割基于下一个字节的熵，从而在数据复杂度增加的地方分配更多的计算和模型容量。我们展示了首个对字节级模型进行浮点运算控制的扩展研究，模型参数规模达到80亿，训练数据量达到4万亿字节。我们的结果证明了在没有固定词汇表的情况下，直接在原始字节上训练模型的可行性。由于在数据可预测时动态选择较长的块，训练和推理效率都得到了提高，同时在推理能力和长尾泛化方面也有了定性的改善。总体而言，在固定的推理成本下，BLT通过同时增加块和模型的大小，表现出比基于分词的模型更好的扩展性。

该论文尝试解决在大规模语言模型中使用字节级表示来替代传统基于分词的模型所面临的问题，包括性能匹配、推理效率和鲁棒性等方面的挑战。这是一个新的尝试，旨在探索不依赖固定词汇表的模型训练。

论文提出了一种名为Byte Latent Transformer (BLT) 的新架构，该架构通过将字节编码为动态大小的块（patches），并根据下一个字节的熵来分割这些块，从而在数据复杂度高的地方分配更多的计算资源。这种动态调整块大小的方法使得模型在处理可预测数据时更加高效。

1. 论文进行了首次FLOP控制的字节级模型扩展研究，达到了80亿参数和4万亿训练字节。 2. 实验结果显示，BLT在推理效率和鲁棒性方面优于传统的基于分词的模型。 3. 该方法在长尾泛化和推理能力方面也有显著提升。 4. 研究表明，在固定推理成本下，BLT的扩展性能明显优于基于分词的模型。 5. 论文提供了详细的实验设计和结果分析，但未提及是否有开源代码。

1. "Byte-Pair Encoding: A Good Replacement for UNK?" - Sennrich et al., 2016 2. "Unsupervised Pre-training for Sequence Transduction without Alignment" - Artetxe et al., 2019 3. "Byte-Level Pretraining of Neural Language Models" - Wu et al., 2020 4. "Dynamic Convolutional Neural Networks for Sequence Modeling" - Shen et al., 2018