Consistent Video Colorization via Palette Guidance

色彩化是一项传统的计算机视觉任务，在许多耗时的任务中起着重要作用，例如老电影修复。现有的方法存在色彩不饱和和时间上不一致的问题。在本文中，我们提出了一种新的流程来克服这些挑战。我们将色彩化任务视为生成任务，并引入稳定视频扩散（SVD）作为我们的基础模型。我们设计了一种基于调色板的颜色引导器，以帮助模型生成生动且一致的色彩。调色板引入的颜色上下文不仅为色彩生成提供了指导，还通过多个序列之间的统一颜色上下文增强了生成色彩的稳定性。实验表明，所提出的方法能够为视频提供生动且稳定的色彩，超越了之前的方法。

该论文旨在解决传统视频上色任务中的两个主要问题：色彩饱和度不足和时间上的不一致性。这些问题在旧电影修复等耗时任务中尤为突出，现有方法难以提供既鲜艳又稳定的色彩效果。

关键思路是将视频上色任务视为生成任务，并引入了稳定视频扩散（Stable Video Diffusion, SVD）作为基础模型。此外，设计了一种基于调色板的颜色引导器，以帮助模型生成生动且一致的颜色。通过统一的颜色上下文，确保了多个序列之间的颜色稳定性，这是对当前研究的一个重要创新。

实验结果表明，所提出的方法能够为视频提供更加鲜艳和稳定的颜色，超越了以往的方法。研究使用了具体的实验设计来验证其有效性，但摘要中未提及具体的数据集或是否开源代码。未来的研究可以进一步探索如何优化SVD模型以及调色板的构建方式，以提高处理效率和色彩准确性。

近期相关研究包括《Video Colorization via Deep Learning: A Survey》、《Temporal Consistency in Video Colorization Using Recurrent Neural Networks》等。这些研究探讨了深度学习在视频上色中的应用，特别是如何保持时间一致性的问题。