不包括可追溯到 1970 年代的“传统”CGI 方法,目前存在三种基于 AI 的主流方法来创建合成人脸,其中只有一种取得了广泛的成功或社会影响:自动编码器框架(当前病毒背后的架构深度伪造);生成对抗网络(GAN);和神经辐射场 (NeRF)。

其中,NeRF——一个能够重建整个人类形态的后期进入者——就其面部生成能力而言处于最基本的阶段。 GAN 可以创造出最令人信服的面孔,但仍然太不稳定且难以控制,无法轻松输出逼真的视频片段;和自动编码器框架,已经迷住(并且可以说是威胁)世界,需要“宿主”镜头,并且主要局限于面部的内部区域,这增加了寻找与“目标”非常相似的“目标”的进一步负担“注入”的身份。

上一次,我们看看 NeRF 作为 deepfake 王冠的未来竞争者所面临的挑战;在下一篇文章中,我们将研究当前最流行的基于自动编码器的 deepfake 方法是如何工作的,以及它们是否能够在人脸替换方面保持领先地位。

现在,让我们看看过去五年最著名的图像合成技术中的生成对抗网络在哪里适合深度伪造的未来。

The Future of Generative Adversarial Networks in Deepfakes

结论

与任何其他机器学习方法相比,生成对抗网络能够生成最令人信服的“非真实”人脸静止图像;但事实证明,使用 GAN 来创建可信的人物视频是一个问题。

纯粹基于 GAN 的面部合成方法尚未成功地在不使用辅助技术的情况下产生时间一致且质量上令人信服的 deepfake 视频输出。即使有这样的帮助,基于 GAN 的视频深度伪造也远远落后于 DeepFaceLab 或 FaceSwap 等“现成”自动编码系统所达到的质量。

尽管 GAN 的潜在空间正在慢慢揭开它的神秘面纱,但纠缠和有针对性的操纵仍然是巨大的障碍。

迄今为止,没有“完美”的面部合成方法:DeepFaceLab 和 FaceSwap 等自动编码器系统在预先存在或特制的真实世界视频片段中对面部的受限区域进行操作; NeRF 实际上是“神经 CGI”,到目前为止,它还只是对超逼真的面部合成和真正的内容可编辑性进行了初步尝试; GAN 仍然受到潜在空间的难以处理的阻碍。

因此,尽管研究界一直在努力,但生成对抗网络目前正成为新深度伪造计划的支持技术,而不是关键架构。