谷歌 & 台湾大学提出NeRViS：无需裁剪视频边界，实现视频防抖

目前的智能手机在面对复杂的抖动时，主要是通过电子防抖（EIS）的方式来实现画面的稳定。也就是说，需要对画面的边界进行裁剪，通过“后期处理”，实现画面的稳定。而现在，一项来自台湾大学、谷歌、弗吉尼亚理工大学和加州大学默塞德分校等研究机构的论文，提出了一种无需裁剪的全帧视频稳定算法。

• 论文名称：NeRViS：Neural Re-rendering for Full-frame Video Stabilization
• 论文链接：https://arxiv.org/abs/2102.06205
• 项目链接：https://alex04072000.github.io/NeRViS
• 开源代码：https://github.com/alex04072000/NeRViS

该方法的核心思想，是融合视频中多个相邻帧的信息，来呈现无需裁剪的完整稳定视频。具体而言，对于输入视频，首先对每一帧图像特征进行编码，并在目标时间戳处将相邻帧翘曲至虚拟相机空间。这里面主要用到了目标帧到关键帧的翘曲场，以及从关键帧到相邻帧的估计光流两个信息，这样，就可以通过链接流向量，计算目标帧到相邻帧的翘曲场。然后，将这些特征进行融合。

更多细节可以戳原文。

来源：量子位

内容中包含的图片若涉及版权问题，请及时与我们联系删除