The Interspeech 2024 Challenge on Speech Processing Using Discrete Units

将语音和音频信号表示为离散单元已成为传统高维特征向量的有力替代方案。许多研究已经强调了离散单元在语音压缩和恢复、语音识别和语音生成等各种应用中的有效性。为了促进这个领域的探索，我们介绍了Interspeech 2024挑战赛，重点是使用离散单元的新型语音处理基准测试。它包括三个关键任务，即多语言自动语音识别、文本转语音和歌唱声音合成，并旨在评估这些任务中离散单元的潜在适用性。本文概述了挑战设计和基线描述。我们还汇总了基线和选定的提交系统，以及初步发现，为未来在这个不断发展的领域的研究提供了有价值的贡献。

本论文介绍了Interspeech 2024 Challenge，旨在通过三个任务（多语种自动语音识别、文本到语音和歌唱声音合成）评估离散单元在语音处理中的适用性。

本论文提出了使用离散单元来表示语音和音频信号的方法，并介绍了如何在多语种自动语音识别、文本到语音和歌唱声音合成等任务中使用这种方法。

本论文提供了Interspeech 2024 Challenge的设计和基线描述，并收集了基线和选定的提交系统以及初步发现，为这个不断发展的领域的未来研究提供了有价值的贡献。

近期在这个领域中的相关研究包括使用离散单元进行语音信号处理的各种应用，如语音压缩和恢复、语音识别和语音生成等。