Improving Self Consistency in LLMs through Probabilistic Tokenization

以前的研究已经证明了使用概率分词可以显著提高语言模型的性能。这种方法在训练阶段中涉及使用同一输入字符串的多个分词。尽管有这些有希望的发现，但是现代大型语言模型尚未使用概率分词进行训练。有趣的是，虽然这些现代语言模型的分词器具有生成多个分词的功能，但这种功能仍未得到充分利用。在这项工作中，我们提出了一种新方法，利用现代语言模型分词器的多个分词能力，旨在增强语言模型在推理任务中的自我一致性。我们的实验表明，当利用概率分词时，语言模型会生成逻辑多样的推理路径，超越了仅仅表面上的语言多样性。我们仔细研究了概率分词，并通过对5个语言模型家族和4个推理基准的广泛实验提供了解释自我一致性改进的见解。

论文旨在利用现代大型语言模型分词器的多重分词能力，提高自我一致性，从而增强推理任务的性能。同时，论文也试图探讨概率分词在自然语言处理中的应用价值。

论文提出了一种新的方法，利用现代大型语言模型分词器的多重分词能力，通过概率分词来提高自我一致性，从而增强推理任务的性能。

论文通过实验研究发现，利用概率分词可以使得语言模型在推理任务中生成更加多样化的推理路径，从而提高了自我一致性和推理性能。论文还介绍了概率分词的实现细节和优化方法，并在5个大型语言模型家族和4个推理基准测试数据集上进行了实验验证。论文开源了代码和数据集，为后续研究提供了基础。

在近期的相关研究中，也有一些关于概率分词的应用研究。例如，论文《Probabilistic Word Embeddings with Limited Memory》提出了一种基于概率分词的词向量表示方法。另外，也有一些研究关注于如何提高语言模型的推理性能，例如，论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《RoBERTa: A Robustly Optimized BERT Pretraining Approach》等。