在数字媒体和视频制作不断发展的背景下，精确操纵和再现摄像机运动和角色动作等视觉元素变得非常重要。现有的SLAM方法在动态场景下存在局限性，人体姿态估计通常关注2D投影，忽略了3D状态。为了解决这些问题，我们首先介绍了一种反向拍摄行为估计技术。它通过利用NeRF作为可微分渲染器和优化SMPL轨迹来优化摄像机轨迹。然后，我们介绍了一种电影转移管道，能够将各种镜头类型转移到新的2D视频或3D虚拟环境中。3D引擎工作流的整合使得能够实现更高质量的渲染和控制能力，也在用户研究中取得了更高的评分。

JPEG仍然是最广泛使用的有损图像编码方法之一。然而，JPEG的不可微性限制了其在深度学习流程中的应用。最近提出了几种可微分的JPEG近似方法来解决这个问题。本文对现有的可微分JPEG方法进行了全面的回顾，并确定了之前方法中遗漏的关键细节。为此，我们提出了一种新颖的可微分JPEG方法，克服了之前的限制。我们的方法对输入图像、JPEG质量、量化表和颜色转换参数都是可微分的。我们评估了我们的可微分JPEG方法的前向和反向性能，并与现有方法进行了广泛的对比实验。此外，我们进行了广泛的消融实验，以评估关键的设计选择。我们提出的可微分JPEG方法最接近（非可微分）参考实现，平均比最近最好的可微分方法提高了3.47dB（PSNR）。对于强压缩率，我们甚至可以提高9.51dB的PSNR。我们的可微分JPEG方法产生了强大的对抗攻击结果，证明了有效的梯度逼近。我们的代码可在https://github.com/necla-ml/Diff-JPEG上获取。

本文提出了一种快速且强大的零样本语音合成器HierSpeech++，可用于文本转语音和语音转换。相比之前的自回归语音模型，基于大型语言模型（LLM）的语音合成已经被广泛采用，但它们需要大规模的数据，并且具有相同的限制，包括推理速度慢和缺乏鲁棒性。本文验证了分层语音合成框架可以显着提高合成语音的鲁棒性和表现力。对于文本转语音，本文采用了文本到向量框架，该框架基于文本表示和韵律提示生成自监督的语音表示和F0表示，然后HierSpeech++从生成的向量、F0和语音提示中生成语音。此外，本文还引入了一种高效的语音超分辨率框架，从16 kHz到48 kHz。实验结果表明，分层变分自编码器可以成为一个强大的零样本语音合成器，优于基于LLM和扩散的模型。此外，本文还实现了首次人类水平的零样本语音合成。可在https://github.com/sh-lee-prml/HierSpeechpp上获得音频样本和源代码。

深度伪造检测的任务远未被语音或视觉研究者解决。已经建立了几个公开数据库来帮助开发检测方法。然而，现有的数据库通常只关注视觉或语音模态，并没有证据表明它们的深度伪造实际上可以模仿任何真实的人。本文介绍了第一个逼真的音频-视觉深度伪造数据库SWAN-DF，其中嘴唇和语音同步，视频具有高质量的视觉和音频。我们使用DeepFaceLab的几个模型和面部交换和HiFiVC、DiffVC、YourTTS和FreeVC模型的混合技术，从公开可用的SWAN真实视频数据集中选择不同身份的视频来创建音频-视觉深度伪造。从公开可用的语音数据集LibriTTS中，我们还使用几种最新的文本到语音方法创建了一个单独的音频深度伪造数据库LibriTTS-DF：YourTTS、Adaspeech和TorToiSe。我们展示了一种最先进的说话人识别系统（例如SpeechBrain中基于ECAPA-TDNN的模型）对合成声音的脆弱性。同样，我们将基于MobileFaceNet架构的人脸识别系统测试到我们的几个视觉深度伪造的变体上。脆弱性评估表明，通过将现有的预训练深度伪造模型调整到特定的身份，可以在90％以上的时间内成功欺骗面部和说话人识别系统，并实现一个非常逼真的看起来和听起来像给定人物的假视频。