本文提出了一种快速且强大的零样本语音合成器HierSpeech++，可用于文本转语音和语音转换。相比之前的自回归语音模型，基于大型语言模型（LLM）的语音合成已经被广泛采用，但它们需要大规模的数据，并且具有相同的限制，包括推理速度慢和缺乏鲁棒性。本文验证了分层语音合成框架可以显着提高合成语音的鲁棒性和表现力。对于文本转语音，本文采用了文本到向量框架，该框架基于文本表示和韵律提示生成自监督的语音表示和F0表示，然后HierSpeech++从生成的向量、F0和语音提示中生成语音。此外，本文还引入了一种高效的语音超分辨率框架，从16 kHz到48 kHz。实验结果表明，分层变分自编码器可以成为一个强大的零样本语音合成器，优于基于LLM和扩散的模型。此外，本文还实现了首次人类水平的零样本语音合成。可在https://github.com/sh-lee-prml/HierSpeechpp上获得音频样本和源代码。

我们提出了CoDi-2，这是一个多功能、交互式的多模态大语言模型（MLLM），可以在任意输入-输出模态范式下遵循复杂的多模态交错指令、进行上下文学习（ICL）、推理、聊天、编辑等。通过将语言的编码和生成与多种模态对齐，CoDi-2使大型语言模型（LLMs）不仅能够理解复杂的模态交错指令和上下文示例，而且能够在连续特征空间中自回归生成基于实地和连贯的多模态输出。为了训练CoDi-2，我们构建了一个大规模的生成数据集，涵盖了跨文本、视觉和音频的上下文多模态指令。CoDi-2展示了广泛的零-shot能力，如上下文学习、推理和任意-任意模态生成的组合性，通过多轮交互式对话。CoDi-2在主题驱动的图像生成、视觉转换和音频编辑等任务上超越了以前的领域特定模型。CoDi-2标志着在开发全面的多模态基础模型方面取得了重大突破，能够解释上下文语言-视觉-音频交错指令并产生多模态输出。

深度伪造检测的任务远未被语音或视觉研究者解决。已经建立了几个公开数据库来帮助开发检测方法。然而，现有的数据库通常只关注视觉或语音模态，并没有证据表明它们的深度伪造实际上可以模仿任何真实的人。本文介绍了第一个逼真的音频-视觉深度伪造数据库SWAN-DF，其中嘴唇和语音同步，视频具有高质量的视觉和音频。我们使用DeepFaceLab的几个模型和面部交换和HiFiVC、DiffVC、YourTTS和FreeVC模型的混合技术，从公开可用的SWAN真实视频数据集中选择不同身份的视频来创建音频-视觉深度伪造。从公开可用的语音数据集LibriTTS中，我们还使用几种最新的文本到语音方法创建了一个单独的音频深度伪造数据库LibriTTS-DF：YourTTS、Adaspeech和TorToiSe。我们展示了一种最先进的说话人识别系统（例如SpeechBrain中基于ECAPA-TDNN的模型）对合成声音的脆弱性。同样，我们将基于MobileFaceNet架构的人脸识别系统测试到我们的几个视觉深度伪造的变体上。脆弱性评估表明，通过将现有的预训练深度伪造模型调整到特定的身份，可以在90％以上的时间内成功欺骗面部和说话人识别系统，并实现一个非常逼真的看起来和听起来像给定人物的假视频。