Llama-VITS: Enhancing TTS Synthesis with Semantic Awareness

最近自然语言处理（NLP）的进展使得大规模语言模型（LLMs）在各种用途下都能够产生高质量的文本。值得注意的是，在文本转语音（TTS）系统中，整合BERT进行语义标记生成突显了语义内容在产生连贯语音输出中的重要性。尽管如此，LLMs在增强TTS合成方面的具体效用仍然相当有限。本研究介绍了一种创新方法Llama-VITS，通过使用LLM丰富文本的语义内容来增强TTS合成。Llama-VITS将Llama2的语义嵌入与VITS模型集成，这是一种领先的端到端TTS框架。通过利用Llama2进行主要的语音合成过程，我们的实验表明，在LJSpeech数据集上，Llama-VITS与原始VITS（ORI-VITS）和那些整合了BERT（BERT-VITS）的自然度相当。此外，我们的方法显著增强了EmoV_DB_bea_sem数据集上的情感表现力，这是从EmoV_DB数据集中精选出的情感一致的语音，突显了它生成情感语音的潜力。

本论文旨在通过整合大规模语言模型（LLMs）来丰富文本的语义内容，进而提高文本转语音（TTS）合成的自然度和表现力。

论文提出了一种创新的方法，即Llama-VITS，将Llama2的语义嵌入与VITS模型相结合，以提高TTS合成的语义内容和表现力。

论文使用LJSpeech数据集和EmoV_DB_bea_sem数据集对Llama-VITS进行了实验，结果表明Llama-VITS在自然度和表现力方面与原始VITS和BERT-VITS相当，并且在EmoV_DB_bea_sem数据集上显著提高了情感表现力。此外，论文还提供了开源代码。

在TTS领域，最近的相关研究包括“Neural Speech Synthesis with Transformer Network”和“MelNet: A Generative Model for Audio in the Frequency Domain”等。