Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

仅编码器的Transformer模型，如BERT，在检索和分类任务中相对于较大的仅解码器模型提供了出色的表现与规模的权衡。尽管BERT是众多生产流水线的主力，但自其发布以来，对BERT的帕累托改进有限。在本文中，我们介绍了ModernBERT，将现代模型优化引入仅编码器模型，并代表了对旧编码器的重大帕累托改进。ModernBERT模型在2万亿个标记上进行训练，支持原生8192的序列长度，在涵盖多种分类任务和不同领域（包括代码）的单向量和多向量检索的大规模评估中表现出最先进的结果。除了强大的下游性能外，ModernBERT还是最快速且内存效率最高的编码器，并且设计用于在常见的GPU上进行推理。

论文试图通过引入ModernBERT来改善现有BERT模型的性能与效率，特别是在大规模数据和长序列处理方面。这是一个在现有模型基础上进行优化的问题，而非全新的问题。

关键思路在于结合现代模型优化技术，如更高效的训练方法、更大的训练数据量和更长的序列长度，以提升BERT模型的性能和效率。相比现有的研究，ModernBERT不仅在性能上取得了显著提升，还在速度和内存使用上进行了优化，使其更适合实际应用。

论文展示了ModernBERT在多个任务上的卓越表现，包括分类和检索任务，并且在不同领域（如代码）上也表现出色。此外，ModernBERT在常见的GPU上具有出色的推理性能。实验设计包括大规模的数据集（2万亿个token）和长序列长度（8192）。论文还提供了开源代码，便于后续研究者复现和进一步改进。

近期在这个领域中的相关研究包括：1) RoBERTa: A Robustly Optimized BERT Pretraining Approach；2) ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators；3) DeBERTa: Decoding-enhanced BERT with Disentangled Attention。这些研究都致力于通过不同的优化方法来提升BERT及其变体的性能。