Sketch Video Synthesis

理解语义细节和高级概念对于图像草图生成至关重要，当应用于视频领域时，这一挑战变得更加艰巨。为了解决这个问题，我们提出了一种基于优化的框架，用于绘制以逐帧Bézier曲线表示的视频草图。具体而言，我们首先提出了一种跨帧笔画初始化方法，以热身每个曲线的位置和宽度。然后，我们利用基于CLIP特征的语义损失和使用自分解2D图集网络设计的一致性损失来优化这些曲线的位置。基于这些设计元素，生成的草图视频展现出令人印象深刻的视觉抽象和时间上的连贯性。此外，通过将视频通过草图过程转换为SVG线条，我们的方法还可以在基于草图的视频编辑和视频涂鸦中发挥作用，通过视频合成实现，正如预告片所展示的。

论文旨在解决视频手绘生成中的语义复杂性和高级概念问题，提出了一种基于优化的框架。

论文提出了一种基于帧级Bézier曲线的视频手绘生成方法，结合CLIP特征的语义损失和自分解2D图集网络的一致性损失进行优化。

论文的方法在视觉抽象和时间连贯性方面表现出色，可以应用于基于手绘的视频编辑和视频涂鸦。论文使用了自己的数据集进行实验，并在GitHub上开源了代码。

近期的相关研究包括：1. Learning to Sketch with Shortcut Cycle Consistency (ECCV 2020); 2. Sketchformer: Transformer-based Multi-modal Generative Model for Sketching (ICLR 2021); 3. SketchyScene: Richly-Annotated Scene Sketches (CVPR 2021)