Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models

本文探讨了一种基于扩散模型的创新卡通渲染方法，旨在将真实视频直接渲染成卡通风格。在视频风格化方面，现有方法在保持一致性和实现高视觉质量方面仍然存在挑战。本文将卡通渲染问题建模为四个子问题：风格化、一致性增强、结构指导和着色。为了解决视频风格化中的挑战，我们提出了一种有效的卡通渲染方法，称为“Diffutoon”。Diffutoon能够以动画风格呈现出极为详细、高分辨率和持续时间较长的视频。它还可以通过附加分支根据提示编辑内容。Diffutoon的有效性通过定量指标和人类评估进行评估。值得注意的是，在我们的实验中，Diffutoon超过了开源和闭源基线方法。我们的工作伴随着源代码和示例视频在Github上的发布（项目页面：https://ecnu-cilab.github.io/DiffutoonProjectPage/）。

论文旨在提出一种基于扩散模型的toon shading方法，以直接将逼真的视频渲染成动画风格，解决视频风格化中的一致性和视觉质量问题。

论文将toon shading问题建模为四个子问题：风格化、一致性增强、结构引导和上色。提出了一种名为Diffutoon的有效toon shading方法，可以在动画风格下呈现出高分辨率、高质量的视频。

Diffutoon能够根据提示编辑内容，并通过定量指标和人类评估验证其有效性。与开源和闭源基线方法相比，Diffutoon在实验中表现出色。论文提供了源代码和示例视频，值得进一步研究。

最近的相关研究包括：《Real-time Neural Style Transfer for Videos》、《Deep Painterly Harmonization》、《Fast Patch-based Style Transfer of Arbitrary Style》等。