【图像动态化】One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing 【论文链接】https://arxiv.org/abs/2011.15126 【作者团队】Ting-Chun Wang Arun Mallya Ming-Yu Liu 【机构】英伟达 【项目主页】https://nvlabs.github.io/face-vid2vid/ 【发表时间】2020/11/30 【推荐理由】 来自英伟达的科研团队提出了一种对单张图像作自由视角动态合成的方法,能够用在视频会议等动态人脸为主体的视频压缩任务中。 传统的人脸动态化任务中,由于缺乏三维信息,只能从原始视角合成,而无法从一个全新的视角来呈现头部的动态。subject-dependent是传统的三维建模方法,通常是建立一个主体相关的模型,只能合成一个特定主体。subject-agnostic是最新的三维建模方法,为了生成逼真的头发、牙齿等,显式控制预训练的StyleGAN从而生成人脸,但其隐变量如何影像输出有待探究。本文工作的贡献在于,只需要一张图片,就能在基准数据集上实现最好的视觉质量。不需要3D图形模型,能自由地控制不同视角下的动态视频,包括用户自定义的视角。在人脸视频数据上,其压缩结果与商业H.264标准相比,可以减少10倍带宽。

内容中包含的图片若涉及版权问题,请及时与我们联系删除