Llama-VITS: Enhancing TTS Synthesis with Semantic Awareness

最近自然语言处理领域的进展使得大规模语言模型能够在多种用途中生成高质量的文本。值得注意的是，在文本转语音系统中，整合BERT进行语义标记生成凸显了语义内容在产生连贯语音输出中的重要性。尽管如此，大规模语言模型在增强文本转语音合成方面的特定效用仍然相当有限。本研究提出了一种创新方法，Llama-VITS，通过使用大规模语言模型丰富文本的语义内容来增强文本转语音合成。Llama-VITS将Llama2的语义嵌入与领先的端到端文本转语音框架VITS模型相结合。通过利用Llama2进行主要的语音合成过程，我们的实验表明，在LJSpeech数据集上，Llama-VITS与原始VITS（ORI-VITS）和那些整合BERT的模型（BERT-VITS）的自然度相当。此外，我们的方法显著增强了EmoV_DB_bea_sem数据集上的情感表现力，该数据集是从EmoV_DB数据集中精心筛选出的情感一致的语音，突显了其生成情感语音的潜力。

本论文旨在通过将Llama2的语义嵌入与VITS模型相结合，通过增强文本的语义内容来提高TTS合成的自然度和情感表达能力。

Llama-VITS将Llama2的语义嵌入与VITS模型相结合，以提高TTS合成的自然度和情感表达能力。

论文实验采用LJSpeech和EmoV_DB_bea_sem数据集进行，结果表明Llama-VITS的自然度与原始VITS和BERT-VITS相当，且能显著提高情感表达能力。值得深入研究。

近期的相关研究包括使用BERT进行TTS合成的研究，如“Neural Speech Synthesis with Transformer Network”等。