Sketch Video Synthesis

Yudian Zheng,
Xiaodong Cun,
Menghan Xia,
Chi-Man Pun
CV
Graph
2023年11月26日
  • 简介
    理解语义细节和高级概念对于图像草图生成至关重要,当应用于视频领域时,这一挑战变得更加艰巨。为了解决这个问题,我们提出了一种基于优化的框架,用于绘制以逐帧Bézier曲线表示的视频草图。具体而言,我们首先提出了一种跨帧笔画初始化方法,以热身每个曲线的位置和宽度。然后,我们利用基于CLIP特征的语义损失和使用自分解2D图集网络设计的一致性损失来优化这些曲线的位置。基于这些设计元素,生成的草图视频展现出令人印象深刻的视觉抽象和时间上的连贯性。此外,通过将视频通过草图过程转换为SVG线条,我们的方法还可以在基于草图的视频编辑和视频涂鸦中发挥作用,通过视频合成实现,正如预告片所展示的。
  • 图表
  • 解决问题
    论文旨在解决视频手绘生成中的语义复杂性和高级概念问题,提出了一种基于优化的框架。
  • 关键思路
    论文提出了一种基于帧级Bézier曲线的视频手绘生成方法,结合CLIP特征的语义损失和自分解2D图集网络的一致性损失进行优化。
  • 其它亮点
    论文的方法在视觉抽象和时间连贯性方面表现出色,可以应用于基于手绘的视频编辑和视频涂鸦。论文使用了自己的数据集进行实验,并在GitHub上开源了代码。
  • 相关研究
    近期的相关研究包括:1. Learning to Sketch with Shortcut Cycle Consistency (ECCV 2020); 2. Sketchformer: Transformer-based Multi-modal Generative Model for Sketching (ICLR 2021); 3. SketchyScene: Richly-Annotated Scene Sketches (CVPR 2021)
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论