Self-Supervised Speech Representations are More Phonetic than Semantic

自我监督语音模型（S3Ms）已成为语音应用的有效支撑。各种分析表明，S3Ms编码语言属性。在这项工作中，我们寻求更细粒度的分析S3Ms中编码的单词级语言属性。具体而言，我们策划了一个新的数据集，其中包含近音同形（音相似）和同义词（语义相似）单词对，并测量S3M单词表示对之间的相似度。我们的研究揭示了S3M表示始终且显著地展现出更多的音韵相似性而非语义相似性。此外，我们质疑广泛使用的意图分类数据集，例如流利的语音命令和Snips智能灯具，是否足以衡量语义能力。我们的简单基线仅使用单词标识就超过了基于S3M的模型。这证实了我们的发现，并表明在这些数据集上取得高分并不一定保证存在语义内容。

本论文试图探究自监督语音模型（S3Ms）中编码的词级语言属性，特别是在近音和同义词方面的相似性。此外，论文还质疑了当前广泛使用的意图分类数据集是否足以衡量语义能力。

论文使用自己构建的数据集，对S3Ms中词级表示对之间的相似性进行了比较。结果表明，S3Ms表示中的语音相似性显著高于语义相似性。此外，作者还发现，仅使用词汇身份的基线模型可以超过基于S3Ms的模型，这表明目前的意图分类数据集并不能保证包含语义内容。

论文构建了一个新的数据集来评估S3Ms中编码的语言属性，提出了一个新的问题。实验结果表明，S3Ms表示中的语音相似性显著高于语义相似性。此外，作者还发现，仅使用词汇身份的基线模型可以超过基于S3Ms的模型，这表明目前的意图分类数据集并不能保证包含语义内容。

在相关研究方面，最近的工作包括使用自监督学习来改进语音识别和语音表示学习，以及使用其他技术来提高意图分类性能。例如，论文中提到的Fluent Speech Commands和Snips Smartlights数据集已被广泛使用来评估意图分类性能。