BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video Deflickering

目前，随着图像处理和视频生成的蓬勃发展，开发盲视频除闪（BVD）算法以增强视频时间一致性变得越来越重要。然而，视频数据的复杂性使得深度学习方法的训练变得困难，导致资源消耗高，尤其是在严重的闪烁照明下不稳定。这凸显了在像素值之外需要一种紧凑的表示来推进BVD研究和应用的关键需求。受经典的尺度时间均衡（STE）启发，我们的工作引入了直方图辅助解决方案BlazeBVD，以实现高保真和快速的BVD。与STE直接通过时间平滑颜色直方图来校正像素值不同，BlazeBVD利用STE过滤器中的平滑照明直方图来缓解使用神经网络学习时间数据的挑战。BlazeBVD的技术是，首先将像素值压缩成照明直方图，以精确捕捉闪烁和局部曝光变化。然后对这些直方图进行平滑处理，以生成单一帧集、过滤的照明图和曝光图。利用这些除闪先验，BlazeBVD使用2D网络来修复受照明变化或局部曝光问题影响的忠实和一致的纹理。BlazeBVD还结合了轻量级的3D网络来修正轻微的时间不一致性，避免了资源消耗问题。对合成、真实世界和生成的视频进行全面的实验，展示了BlazeBVD的卓越定性和定量结果，实现了比现有技术快10倍的推理速度。

本论文旨在解决视频去闪烁（BVD）的问题，即如何提高视频的时间一致性。由于视频数据的复杂性，深度学习方法的训练变得困难，尤其在严重的闪烁情况下，会导致高资源消耗和不稳定性。

该论文提出了一种名为BlazeBVD的算法，通过将像素值压缩成亮度直方图来解决BVD问题。BlazeBVD通过平滑亮度直方图来过滤亮度图和曝光图，然后使用2D网络来恢复受光照变化或局部曝光问题影响的纹理，并使用轻量级3D网络来修复轻微的时间不一致性，避免资源消耗问题。

BlazeBVD相比于当前的STE方法，可以更快地处理视频，且实现了更高的去闪烁质量。论文使用了合成、真实世界和生成的视频进行了全面的实验，并展示了BlazeBVD的优越性能。论文还开源了代码。

在这个领域中，最近的相关研究包括：1）FastFlickerFixer：A Multi-Scale CNN for Removing Rolling Shutter Artifacts and Flicker in Videos；2）Deep Video Deblurring for Hand-held Cameras；3）Video Frame Interpolation via Adaptive Separable Convolution。