SFVInt: Simple, Fast and Generic Variable-Length Integer Decoding using Bit Manipulation Instructions

本文介绍了一种名为SFVInt的简单快速方法，用于解码普遍采用的小端Base-128（LEB128）变长整数。由于变长整数在数据存储和通信中的普遍使用，因此需要高效的解码技术。我们的方法有效地利用了现代英特尔和AMD处理器中的位操作指令集2（BMI2），在保持简单性和避免过度工程的同时，实现了显著的性能提升。SFVInt具有通用设计，使用统一的代码模板有效地处理32位和64位无符号整数，是变长整数解码效率的重大飞跃。我们在各种数据集和场景下彻底评估了SFVInt的性能，证明它与Facebook Folly和Google Protobuf等已建立框架中使用的变长整数解码方法相比，解码速度提高了多达2倍。

解码变长整型数据在数据存储和通信中十分普遍，但需要高效的解码技术。该论文提出了一个名为SFVInt的简单快速的解决方案，用于解码流行的小端Base-128（LEB128）变长整型数据。该方案利用现代英特尔和AMD处理器中的位操作指令集2（BMI2），在保持简洁和避免过度设计的同时，实现了显著的性能提升。SFVInt具有通用设计，使用统一的代码模板有效地处理32位和64位无符号整数，是变长整型解码效率的重大进展。作者通过多种数据集和场景对SFVInt的性能进行了全面评估，证明其与Facebook Folly和Google Protobuf等已有框架相比，解码速度提高了最多2倍。

利用现代处理器中的位操作指令集2（BMI2）实现高效解码，同时保持简洁和避免过度设计，实现了显著的性能提升。

该论文的亮点包括：1. 使用现代处理器中的位操作指令集2（BMI2）实现高效解码；2. 通用设计，使用统一的代码模板有效地处理32位和64位无符号整数；3. 在多种数据集和场景下进行全面评估，证明其与已有框架相比，解码速度提高了最多2倍。

最近在这个领域中，还有一些相关的研究。例如：1. "FastPFOR: Efficient Integer Compression Library"；2. "SIMD Compression and the Intersection of Sorted Integers"。