生成模型和多模态视觉语言模型的进展已经为具备前所未有生成真实性和多样性的大型文本到图像模型铺平了道路。这些模型提供了新的创作过程，但仅限于合成新图像而非编辑现有图像。为了弥合这一差距，基于文本的直观编辑方法可以对生成和真实图像进行基于文本的编辑，并保留这些图像的一些原始属性。与图像类似，近来文本到视频模型也提出了很多，但使用这些模型进行视频编辑的方法却很少。
在文本指导的视频编辑中，用户提供输入视频以及描述生成视频预期属性的文本 prompt，如下图 1 所示。目标有以下三个方面，1）对齐，编辑后的视频应符合输入文本 prompt；2）保真度，编辑后的视频应保留原始视频的内容，3）质量，编辑后的视频应具备高质量。
可以看到，视频编辑比图像编辑更加具有挑战性，它需要合成新的动作，而不仅仅是修改视觉外观。此外还需要保持时间上的一致性。因此，将 SDEdit、Prompt-to-Prompt 等图像级别的编辑方法应用于视频帧上不足以实现很好的效果。
在近日谷歌研究院等发表在 arXiv 的一篇论文中，研究者提出了一种新方法 Dreamix，它受到了 UniTune 的启发，将文本条件视频扩散模型（video diffusion model, VDM）应用于视频编辑。
文中方法的核心是通过以下两种主要思路使文本条件 VDM 保持对输入视频的高保真度。其一不使用纯噪声作为模型初始化，而是使用原始视频的降级版本，通过缩小尺寸和添加噪声仅保留低时空信息；其二通过微调原始视频上的生成模型来进一步提升对原始视频的保真度。
微调确保模型了解原始视频的高分辨率属性。对输入视频的简单微调会促成相对较低的运动可编辑性，这是因为模型学会了更倾向于原始运动而不是遵循文本 prompt。研究者提出了一种新颖的混合微调方法，其中 VDM 也在输入视频各个帧的集合上进行微调，并丢弃了它们的时序。混合微调显著提升了运动编辑的质量。
研究者进一步利用其视频编辑模型提出了一个新的图像动画框架，如下图 2 所示。该框架包含了几个步骤，比如为图像中的对象和背景设置动画、创建动态相机运动等。他们通过帧复制或几何图像变换等简单的图像处理操作来实现，从而创建粗糙的视频。接着使用 Dreamix 视频编辑器对视频进行编辑。此外研究者还使用其微调方法进行目标驱动的视频生成，也即 Dreambooth 的视频版本。
在实验展示部分，研究者进行了广泛的定性研究和人工评估，展示了他们方法的强大能力，具体可参考如下动图。
对于谷歌这项研究，有人表示，3D + 运动和编辑工具可能是下一波论文的热门主题。还有人表示：大家可以很快在预算内制作自己的的电影了，你所需要的只是一个绿幕以及这项技术。
更多内容请访问机器之心
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢