How Should We Extract Discrete Audio Tokens from Self-Supervised Models?

最近，离散音频标记因其潜在的桥接音频和语言处理的能力而受到关注。理想的音频标记必须保留内容、语用元素、说话者身份和许多其他音频细节。目前的音频标记方法分为两类：通过自监督学习（SSL）模型量化获得的语义标记和基于神经压缩的标记（编解码器）。尽管以前的研究已经对编解码器模型进行了基准测试以确定最佳配置，但预训练的SSL模型量化的理想设置仍不清楚。本文探讨了在区分和生成任务中语义标记的最佳配置。我们提出了一种可扩展的解决方案，可以跨多个SSL层训练通用语音编码器。此外，采用了一种注意力机制来识别任务特定的有影响力的层，增强了语义标记在各种音频应用中的适应性和性能。

论文旨在探索语音处理中的离散音频标记的最佳配置，以实现内容、语音元素、说话人身份等多种音频细节的保留。

通过在多个SSL层上训练通用的声码器，并采用注意机制来识别任务特定的影响层，增强了语义标记在不同音频应用中的适应性和性能。

论文提出了一种可扩展的解决方案，通过在多个SSL层上训练通用的声码器，并采用注意机制来识别任务特定的影响层，增强了语义标记在不同音频应用中的适应性和性能。实验结果表明，该方法在多个任务中都取得了优异的结果。

最近的相关研究包括基于编解码器的音频标记和基于SSL模型的语义标记。