Breathing Life Into Sketches Using Text-to-Video Priors

一张草图是人类用来直观、多功能地表达想法的最常用工具之一。动画草图为表达想法开辟了另一种维度，被设计师广泛用于各种目的。然而，制作动画草图是一项费时费力的过程，需要丰富的经验和专业的设计技能。本文提出了一种方法，仅通过提供指示所需动作的文本提示，就可以自动地为单一主题草图添加动画效果（因此，“赋予其生命力”）。输出是以向量表示提供的短动画，可以轻松编辑。我们的方法不需要进行广泛的培训，而是利用一个大型预训练的文本到视频扩散模型的动作先验，使用得分蒸馏损失来指导笔画的放置。为了促进自然、平滑的运动并更好地保留草图的外观，我们通过两个组件对学习到的运动进行建模。第一个组件控制小的局部变形，第二个组件控制全局仿射变换。令人惊讶的是，我们发现，即使是那些自己难以生成草图视频的模型，仍然可以作为抽象表现的动画的有用骨干。

本文试图通过提供一个文本提示来为单一主题的素描添加动画，从而自动将素描“赋予生命”。这是一个新问题吗？

本文的解决方案是利用大型预训练文本到视频扩散模型的运动先验，使用得分蒸馏损失来指导笔画的放置，通过两个组件对学习到的运动进行建模，以促进自然和平滑的运动并更好地保留素描的外观。

本文的亮点包括使用得分蒸馏损失来指导笔画的放置，通过两个组件对学习到的运动进行建模，即小的局部变形和全局仿射变换。实验使用了多个数据集，包括人类素描和草图数据集，并提供了开源代码。本文的方法还可以用于动画抽象表达。

最近的相关研究包括GAN生成的动画和图像到视频的转换，如“Deep Video Portraits”和“Everybody Dance Now”。