开发语言也是Rust和Python。项目地址：https://github.com/openai/tiktoken 。已经火速获得了1000star。

O记自测，性能是目前应用比较广泛的HuggingFace Tokenizer的3-6倍：

内容中包含的图片若涉及版权问题，请及时与我们联系删除