Toward Accurate and Temporally Consistent Video Restoration from Raw Data

去噪和去马赛克是从原始数据中重建干净的全彩色视频的两个基本步骤。同时进行视频去噪和去马赛克，即VJDD，可能比分别执行它们能够带来更好的视频恢复性能。除了恢复准确性之外，VJDD面临的另一个关键挑战是连续帧的时间一致性。当引入感知正则化项以增强视频感知质量时，这个问题会加剧。为了解决这些挑战，我们提出了一个新的VJDD框架，通过一致和准确的潜在空间传播，利用前一帧的估计作为先前知识，以确保当前帧的一致恢复。相应地设计了数据时间一致性（DTC）损失和关系感知一致性（RPC）损失。与常用的基于流的损失相比，所提出的损失可以规避由于不准确的流估计引起的误差累积问题，并有效处理视频中的强度变化，提高输出视频的时间一致性，同时保留纹理细节。广泛的实验表明，我们的方法在恢复准确性、感知质量和时间一致性方面具有领先的VJDD性能。代码和数据集可在\url{https://github.com/GuoShi28/VJDD}获取。

本篇论文旨在解决视频复原中的去噪和去马赛克两个问题，并提出了一种新的VJDD框架来提高视频恢复性能和时序一致性。

该论文的关键思路是通过一致而准确的潜在空间传播，利用先前帧的估计作为先验知识，确保当前帧的一致恢复，并设计了数据时序一致性（DTC）损失和关系感知一致性（RPC）损失。

论文设计的DTC和RPC损失可以有效地处理视频中的强度变化，提高输出视频的时序一致性和保留纹理细节。实验结果表明，该方法在恢复准确性，感知质量和时序一致性方面具有领先的VJDD性能。

在最近的相关研究中，还有一些与视频复原相关的研究，例如：“Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation”和“Deep Video Prior”等。