3D Multi-frame Fusion for Video Stabilization

本文介绍了一种名为RStab的新型视频稳定框架，它通过体积渲染集成了3D多帧融合技术。与传统方法不同，我们引入了3D多帧视角来生成稳定的图像，解决了全帧生成和结构保留的难题。我们方法的核心在于稳定渲染（SR），它是一个体积渲染模块，不仅可以通过特征融合来进行图像融合，还可以将多帧信息在3D空间中进行融合。具体来说，SR通过投影来扭曲多帧的特征和颜色，并将它们融合成描述符以渲染稳定的图像。然而，扭曲信息的精度取决于投影的准确性，这个因素受到动态区域的显著影响。为此，我们引入了自适应射线范围（ARR）模块来集成深度先验，并自适应地定义投影过程的采样范围。此外，我们还提出了颜色校正（CC），利用光流辅助几何约束以进行准确的颜色聚合。由于这三个模块，我们的RStab在视野（FOV）、图像质量和视频稳定性等方面表现出优异的性能，比之前的稳定器在各种数据集上都有更好的表现。

本论文的问题是如何实现视频稳定，并解决现有方法中存在的全帧生成和结构保留的挑战。

本论文的关键思路是引入三维多帧透视图以生成稳定图像，并通过体渲染模块进行三维多帧融合。该模块不仅进行图像融合，还将特征融合到一起，通过投影将多帧信息进行特征描述符渲染，从而实现稳定图像的生成。

该论文提出了三个模块来解决视频稳定中的挑战，分别是自适应光线范围模块、颜色校正模块和体渲染模块。实验结果表明，该方法在视野、图像质量和视频稳定性方面均优于现有的稳定器。

目前在这个领域中，还有一些相关研究，例如：'Real-time video stabilization with a robust L1 tracker'、'Video stabilization based on particle filter'、'Video stabilization using motion estimation in the transform domain'等。