Exploring the Effect of Segmentation and Vocabulary Size on Speech Tokenization for Speech Language Models

语音分词的目的是将语音信号转换为一系列离散表示，从而为语音语言模型（SLM）提供基础。尽管语音分词有多种选择，但它们对 SLM 性能的影响仍然不明确。本文研究了语音分词的两个关键方面：分割宽度和离散单元的聚类规模。首先，我们将语音信号分割为固定/可变宽度的片段，并生成聚合表示。接着，我们在多个聚类规模下训练 K-means 模型。通过在零样本语音理解基准上的评估，我们发现适度粗粒度的分割和更大的聚类规模具有积极影响。值得注意的是，在表现最佳的模型中，效率最高的模型实现了训练数据量减少 50%，以及训练时间缩短 70%。我们的分析强调了结合多个分词以增强细粒度语音理解的重要性。

该论文试图解决语音信号如何有效离散化以提升语音语言模型（SLM）性能的问题，特别是探讨分段宽度和聚类规模对模型效果的影响。这是一个重要的研究问题，因为目前关于不同语音分词方法对SLM性能的具体影响尚不明确。

论文的关键思路是通过固定/可变宽度的语音信号分割以及不同聚类规模的K-means模型训练，来探索最佳的语音分词策略。相比现有研究，本文系统性地分析了分段粒度和聚类规模对零样本语音理解任务的影响，并发现适度粗粒度分段和较大聚类规模能显著提升性能。

实验设计基于零样本语音理解基准数据集，验证了较优模型在减少50%训练数据和70%训练时间的同时仍保持高效性能。此外，论文强调结合多个语音令牌的重要性以增强细粒度理解能力。虽然未提及代码开源，但其结论为未来优化语音分词和模型效率提供了明确方向，值得进一步研究高效聚类算法和动态分段方法。

近期相关研究包括：1)《Unsupervised Speech Representation Learning Using Wav2Vec》探讨了无监督语音表示学习；2)《HuBERT: Leveraging Text Transcriptions for Self-Supervised Speech Representation Learning》结合文本转录改进自监督学习；3)《Speech2Vec: A Fully Unsupervised Discrete Representation Learning Framework for Spoken Language Understanding》提出了一种完全无监督的离散表示学习框架。这些研究共同推动了语音信号离散化的技术进步。